Stockmann Evaluationsforschung

Grundlagen und ausgewählte Forschungsfelder
1. Auflage 2006
ISBN: 978-3-8309-6734-7
Verlag: Waxmann Lehrbuch
Format: PDF
Kopierschutz: 1 - PDF Watermark

E-Book, Deutsch, 423 Seiten

In diesem Lehrbuch werden die wichtigsten Theorien, Methoden und Entwicklungen der Evaluationsforschung beschrieben. Außerdem wird der Stand der Forschung für zentrale Politikfelder resümiert.
Im ersten Teil werden einige grundsätzliche Themen zur Entwicklung der Evaluationsforschung in Deutschland, Europa und den USA behandelt, die wichtigsten Theorien und Methoden vorgestellt und ein Ausblick auf die Entwicklung der Evaluation im 21. Jahrhundert gegeben. Im zweiten Teil des Buches wird der aktuelle Wissens- und Diskussionsstand in ausgewählten Feldern der Evaluationsforschung zusammengefasst.
Für die einzelnen Kapitel konnten renommierte Vertreter gewonnen werden. Das Buch richtet sich an Dozenten und Studierende aller sozialwissenschaftlichen Fächer, sowie an Gutachter, Consultants und Verwaltungsfachleute, die sich mit Fragen der Evaluation, der Erfolgskontrolle der Wissenschaftlichen Begleitforschung, der Wirkungsanalyse oder dem Qualitätsmanagement beschäftigen.

Autoren/Hrsg.

Stockmann, Reinhard

Inhaltsverzeichnis

1;Buchtitel;1
1.1;Inhalt;5
2;Vorworte;7
2.1;Vorwort zur 3. Auflage;7
2.2;Vorwort zur 2. Auflage;9
2.3;Vorwort zur 1. Auflage;11
3;Evaluation in Deutschland (Reinhard Stockmann);15
3.1;1. Evaluation, was ist das?;15
3.2;2. Theorien und Methoden der Evaluationsforschung;22
3.3;3. Entwicklung der Evaluationsforschung;25
3.3.1;3.1 Entwicklung in den USA;25
3.3.2;3.2 Entwicklung in Europa;27
3.3.3;3.3 Entwicklung in Deutschland;29
3.4;4. Evaluationsdefizite und Professionalisierungsversuche;33
3.5;5. Anforderungen an die Evaluation in Deutschland;39
3.6;Literatur;41
4;Institutionalizing Evaluation in the United States of America (Donna M. Mertens);47
4.1;1. Definitions;47
4.2;2. History;48
4.3;3. Associations, Standards, Guiding Principles, and Journals of Evaluation;52
4.4;4. Current Influences on Evaluation in the United States;55
4.5;5. Theoretical Challenges in the Current Environment;56
4.6;6. Questions remaining;60
4.7;References;61
5;Evaluation in Europe (Frans L. Leeuw);64
5.1;1. Introduction;64
5.2;2. Evaluation still an infant industry in Europe?;64
5.2.1;2.1 Indicators;65
5.2.2;2.2 Evaluation societies;67
5.2.3;2.3 A survey amongst evaluation providers;68
5.3;3. Evaluation and the European Union;72
5.3.1;3.1 A little history;72
5.3.2;3.2 Management Reforms and Evaluation in the 90’s;73
5.3.3;3.3 Towards Systematic Evaluation of All Community Policies;74
5.3.4;3.4 Evaluation of European Expenditures: State of Play in 1999;75
5.4;4. Current developments;77
5.4.1;4.1 The importance of civil society is increasing;77
5.4.2;4.2 Strengthening public management;77
5.4.3;4.3 The ‚Polity‘ and different political traditions;78
5.4.4;4.4 Central topics for evaluation within Europe;79
5.5;5. The future;83
5.6;References;83
6;Qualität der Evaluation – Wenn Wissenschaft zur praktischen Kunst wird (Thomas Widmer);85
6.1;1. Einstieg;85
6.2;2. Vielfältige Evaluation;86
6.2.1;2.1 Gegenstände der Evaluation;86
6.2.2;2.2 Verortung einer Evaluation;87
6.2.3;2.3 Methodenpluralismus;88
6.2.4;2.4 Distanz und Umfang einer Evaluation;89
6.3;3. Erwartungen an eine Evaluation;90
6.3.1;3.1 Interaktionstheoretisches Modell;90
6.3.2;3.2 Interaktion Politik und Verwaltung – Evaluation;91
6.3.3;3.3 Interaktion Wissenschaft – Evaluation;91
6.3.4;3.4 Interaktion Öffentlichkeit – Evaluation;92
6.3.5;3.5 Zusammenfassung;92
6.4;4. Referenzebenen der Evaluationsqualität;93
6.5;5. Standards der Evaluation;94
6.5.1;5.1 Entstehung der Standards;94
6.5.2;5.2 Struktur und Inhalt der Standards;95
6.6;6. Anwendung der ‚Standards‘ in der Evaluationspraxis;101
6.6.1;6.1 Vorbemerkungen;101
6.6.2;6.2 Meta-Evaluation;101
6.6.3;6.3 Ratgeber für die Evaluationspraxis;103
6.6.4;6.4 Qualitätssicherung;105
6.6.5;6.5 Didaktisches Hilfsmittel in Aus- und Weiterbildung;106
6.6.6;6.6 Adaption durch Fachgesellschaften;107
6.6.7;6.7 Standards in Rechtstexten und Handbüchern;108
6.7;7. Schluß;108
6.8;Literatur;110
7;Evaluation Research and Fundamental Research (Evert Vedung);113
7.1;1. The Problem: Differences Between Evaluation and Fundamental Research?;113
7.2;2. Scheme of Analysis: the Eight Problems Approach to Public Policy Evaluation;114
7.3;3. Is There a Difference With Respect to Valuing?;117
7.4;4. Primary and Essential Difference: Evaluation Should Be Useful and Used;120
7.5;5. What Kinds of Evaluation Uses Are There?;121
7.6;6. Importance of the Contract;123
7.7;7. Accountability and Improvement Purposes Are Vital to Evaluation;124
7.8;8. Basic Knowledge as a Happy Side-effect in Evaluation;126
7.9;9. Evaluation as Potemkin villages;127
7.10;10. Strategies to Tackle the Utilization Issue in Evaluation;128
7.11;11. Final Word;135
7.12;References;135
8;Theories of Evaluation (Barbara Lee);137
8.1;1. Introduction;137
8.2;2. The activity of evaluation;139
8.3;3. Evaluation theory emerges;141
8.4;4. Evolutionary forces shaping evaluation theory;143
8.5;5. What is “evaluation theory”?;144
8.6;6. The knowledge component: What counts as acceptable and credible evidence about programs?;147
8.7;7. Where the transdisciplines of statistics and evaluation meet;150
8.8;8. The cold war in evaluation;152
8.9;9. Value – what kind, how much, to whom, and under what conditions?;156
8.10;10. Who cares?! The component of Use;159
8.11;11. Practice: What do we do, under what contingencies, and how do we do it?;161
8.12;12. Social programming: For whose good? Who benefits, and who is harmed?;165
8.13;13. Theoretical Common Ground in the Discipline of Evaluation;169
8.14;14. Conclusion;171
8.15;References;173
9;Methodology: Building Bridges to Knowledge (Valerie J. Caracelli);177
9.1;1. Introduction;177
9.2;2. Framing Questions;178
9.3;3. Building In Quality;179
9.4;4. Creating the Evaluation Design;181
9.5;5. Analytic Frameworks;185
9.6;6. Evidence base;191
9.7;7. Enhancing Credibility, Meaning, and Utility with Multiple and Mixed-methods;194
9.8;References;197
10;Evaluation und Verwaltungspolitik. Konzepte und Praxis in Deutschland und iminternationalen Kontext (Hellmut Wollmann);207
10.1;1. Konzeptionelle und methodische Eigentümlichkeiten der Evaluation von Verwaltungspolitik;207
10.1.1;1.1 Die mehreren „Schleifen“ von Evaluation;207
10.1.2;1.2 Methodenprobleme;208
10.1.2.1;1.2.1 Konzipierungsproblem;209
10.1.2.2;1.2.2 Kausalitätsproblem;211
10.1.2.3;1.2.3 Quasi-Evaluation;212
10.1.3;1.3 Zeitpunkt und Modalität der Evaluation;213
10.1.4;1.4 Träger der Evaluation;213
10.2;2. Verwaltungspolitik und Evaluation in Deutschland;214
10.2.1;2.1 Ansätze interner Evaluation;215
10.2.2;2.2 Ansätze externer Evaluation;219
10.2.3;2.3 Evaluation und Verwaltungspolitik im internationalen Überblick;221
10.3;3.1 Ansätze interner Evaluation;222
10.4;3.2 Ansätze externer Evaluation;223
10.5;4. Evaluation in der Verwaltungspolitik – eine „dritte Welle“ von Evaluation?;225
10.6;Literatur;228
11;Qualität und Evaluation im System Hochschule (Helmut Kromrey);234
11.1;1. „Evaluation“ – Begriff und Funktionen;234
11.2;2. Evaluation im System Hochschule – wie und wozu?;238
11.3;3. Welches „Paradigma“ der Evaluation ist das beste?;242
11.4;4. Der Ausweg: Evaluation durch Umfrageforschung;245
11.5;5. Andere Formen des Einsatzes von Befragungen und Erhebungen;250
11.6;6. Zu guter Letzt: Qualitätsentwicklung ohne Qualitätsbegriff?;251
11.7;Literatur;257
12;Qualitätsevaluation und Schulentwicklung (Xaver Büeler);260
12.1;1. Begriffliche Klärung;261
12.2;2. Zur Entstehung der Qualitätsevaluation in Schulen;263
12.2.1;2.1 School Effectiveness Research;263
12.2.2;2.2 Schulqualitätsforschung in deutschsprachigen Ländern;264
12.2.3;2.3 Von der Schulforschung zum Qualitätsmanagement in Schulen;269
12.3;3. Systematische Herleitung;270
12.3.1;3.1 Die Lernende Schule;270
12.3.2;3.2 Qualität evaluieren und entwickeln;272
12.3.3;3.3 Vier Perspektiven der Qualitätsevaluation;273
12.3.3.1;3.3.1 Schulbehörde und Schulpolitik;273
12.3.3.2;3.3.2 Schulforschung;274
12.3.3.3;3.3.3 Schulpraxis;275
12.3.3.4;3.3.4 Schulentwicklung;276
12.4;4. Evaluationsformen, -methoden und -modelle;276
12.4.1;4.1 Ablauf eines Evaluationsvorhabens im Schulbereich;277
12.4.2;4.2 Verfahren zur Evaluation von Schulqualität im Überblick;280
12.4.2.1;4.2.1 Offene, systemunabhängige Evaluationsverfahren;280
12.4.2.2;4.2.2 Standardisierte Qualitätssysteme;282
12.5;5. Ausblick;284
12.6;Literatur;286
13;Evaluation in der Forschungs- und Innovationspolitik (Stefan Kuhlmann);289
13.1;1. Einführung;289
13.2;2. Entwicklungslinien der Forschungs- und Innovationsförderung;290
13.3;3. Evaluationsverfahren;293
13.3.1;3.1 Konzepte und Anwendungsgebiete;293
13.3.2;3.2 Methoden;296
13.3.3;3.3 Objektivität und Reichweite von Evaluationsverfahren;297
13.4;4. Innovationssysteme im Wandel;299
13.5;5. Leistungsmessung oder Lernmedium: Evaluation zwischen zwei funktionalen Polen;301
13.6;6. Ausblick;304
13.7;Literatur;305
14;Evaluation von Arbeitsmarktpolitik (Bettina Bangel, Christian Brinkmann & Axel Deeke);311
14.1;1. Konzeptioneller Rahmen;311
14.1.1;1.1 Zum Stellenwert von Evaluation;311
14.1.2;1.2 Risiken traditioneller Evaluation oder: Zielorientierte Evaluation als Königsweg?;312
14.1.2.1;1.2.1 Risiken traditioneller Evaluationskonzepte;313
14.1.2.2;1.2.2 Die Konzeption der zielorientierten Evaluation;314
14.2;2. Aktive Arbeitsförderung auf Bundesebene;315
14.2.1;2.1 Organisatorische und gesetzliche Hintergründe;315
14.2.2;2.2 Das sich entwickelnde Monitoring-System;317
14.2.3;2.3 Wirkungsforschung;319
14.2.4;2.4 Evaluation als „joint venture“ von Wissenschaft und Praxis;320
14.3;3. Arbeitsmarktpolitik auf Länderebene: Das Beispiel Brandenburg;322
14.3.1;3.0 Die Rolle der Länder in der Arbeitsmarktpolitik;322
14.3.2;3.1 Evaluierung der Arbeitsmarktpolitik aus Ländersicht – Die Brandenburger Konzeption der adressatenorientierten Evaluation;324
14.3.2.1;3.1.1 Untersuchungsebenen und Evaluationsverfahren;325
14.3.2.2;3.1.2 Die drei zentralen Elemente der adressatenorientierten Evaluation – Typologie der Funktionsbereiche und Analysefelder;326
14.4;4. Arbeitsmarktpolitik im Rahmen des Europäischen Sozialfonds (ESF);329
14.4.1;4.1 Der Europäische Sozialfonds – Kofinanzierung der Arbeitsmarktpolitik von Bund und Ländern im Rahmen der Europäischen Beschäftigungsstrategie;329
14.4.2;4.2 Programmierung und Steuerung des ESF in der Phase von 2000 bis 2006;331
14.4.3;4.3 Monitoring und Evaluation des ESF bis 1999;333
14.4.4;4.4 Neue Ansätze von Monitoring und Evaluation als Instrumente der Zielsteuerung und strategischen Reflexion des ESF in Deutschland;334
14.5;5. Ausblick;336
14.6;Literatur;338
15;Zur Evaluation von Umweltschutz-Maßnahmen in Staat und Unternehmen (Joseph Huber & Axel Müller);345
15.1;1. Zum Gegenstandsbereich von Evaluationen im Umweltschutz;345
15.1.1;1.1 Vergesellschaftung der Politik und des Politikzyklus;345
15.1.2;1.2 Maßnahmen-Evaluation und Politik-Evaluation;347
15.1.3;1.3 Expertokratische und partizipative Evaluation;349
15.2;2. Ansätze zur Erfassung und Bewertung von Umweltmaßnahmen;350
15.2.1;2.1 Amtliche und betriebliche Umweltberichterstattung;350
15.2.2;2.2 Umweltgesamtrechnung;353
15.2.3;2.3 Ökologische Buchhaltung;354
15.2.4;2.4 Stoffstromanalyse;355
15.2.5;2.5 Umweltintensität, MIPS (Material-Intensität pro Nutzeneinheit);356
15.2.6;2.6 Ecological Footprint (angeeignete Tragekapazität);357
15.2.7;2.7 Kontingentierter Umweltraum;358
15.2.8;2.8 Ökobilanz und Produktlinienanalyse (Life Cycle Assessment);359
15.2.9;2.9 Umweltcontrolling;361
15.2.10;2.10 Öko-Audit nach EG-Verordnung (EMAS-Verordnung);363
15.2.11;2.11 Umweltqualitätsmanagement nach ISO 14001;364
15.2.12;2.12 Ökologische Produktions- und Produkt-Zertifizierung;366
15.2.13;2.13 Benchmarking, Öko-Ranking, Öko-Rating;367
15.2.14;2.14 Umweltverträglichkeitsprüfung;369
15.2.15;2.15 Technikfolgen- und Risiko-Assessment;370
15.3;3. Zusammenfassung und Ausblick;371
15.4;Literatur;371
16;Evaluation staatlicher Entwicklungspolitik (Reinhard Stockmann);378
16.1;1. Problemstellung;378
16.2;2. Evaluationssystem der staatlichen EZ;379
16.2.1;2.1 Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung;379
16.2.2;2.2 Die Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ);381
16.2.3;2.3 Die Kreditanstalt für Wiederaufbau (KfW);384
16.3;3. Evaluationsdefizite in der EZ;386
16.3.1;3.1 Unzureichende Wirkungs- und Nachhaltigkeitsorientierung;386
16.3.1.1;3.1.1 Mangelhaftes Methodeninstrumentarium;388
16.3.1.1.1;3.1.1.1 Regelinstrumente;388
16.3.1.2;3.1.2 Spezielle Wirkungsstudien;392
16.3.2;3.2 Fehlende Transparenz, Unabhängigkeit und Legitimität;395
16.4;4. Reformanstrengungen und Reformbedarf;398
16.5;5. Bewertung des Reformprozesses und Zukunftsaufgaben;405
16.6;Literatur;407
17;Autorenverzeichnis;415