Knödler Evaluation an Hochschulen

Entwicklung und Validierung eines verhaltensbasierten Messinventars zur studentischen Lehrveranstaltungsevaluation
1. Auflage 2019
ISBN: 978-3-658-25553-4
Verlag: Springer
Format: PDF
Kopierschutz: 1 - PDF Watermark

E-Book, Deutsch, 364 Seiten

Elisa Knödler beschäftigt sich mit der studentischen Lehrveranstaltungsevaluation als Instrument der Qualitätssicherung an Hochschulen. Anhand mehrerer Teilstudien entwirft sie einen wirksamen Gesamtprozess zur Erfassung und Verbesserung der Lehrqualität. Ergebnis ist die theorie- sowie empiriegestützte Entwicklung und Validierung eines verhaltensbasierten Messinventars zur studentischen Lehrveranstaltungsevaluation. Abgesehen von der vieldiskutierten und -beforschten Frage nach der Validität geht die Autorin weiteren, mindestens ebenso dringlichen Fragestellungen nach, etwa: Was bedeutet Qualität im Lehrkontext und wie ist sie operationalisierbar? Es lässt sich zeigen, dass generische Baukastenmodelle im Sinne maßgeschneiderter Messinstrumente zur Erfassung und Verbesserung der Lehrqualität Erfolg versprechend sind.

Dr. Elisa Knödler ist wissenschaftliche Mitarbeiterin an der Fakultät für Psychologie und Pädagogik sowie bei PROFiL (zentrale Einrichtung zur Personalqualifikation von Lehrenden) der Ludwig-Maximilians-Universität München und freie Evaluatorin.

Autoren/Hrsg.

Knödler, Elisa

Inhaltsverzeichnis

1;Inhaltsübersicht;5
2;Inhaltsverzeichnis;6
3;Abbildungsverzeichnis;12
4;Tabellenverzeichnis;13
5;1Einleitung;16
5.1;1.1 Organisation Hochschule und Evaluation;16
5.2;1.2 Aufbau und Intention der Arbeit;19
5.2.1;1.2.1 Theorie und Forschungsstand;20
5.2.2;1.2.2 Empirieteil;21
6;TEIL 1 – THEORIE UND FORSCHUNGSSTAND;24
6.1;2 Die Hochschule – eine Organisation im Wandel;25
6.1.1;2.1 Begriffsklärung;25
6.1.1.1;2.1.1 Definitorische Einordnung;26
6.1.1.2;2.1.2 Merkmale der Organisation Hochschule;27
6.1.1.2.1;2.1.2.1 Mitgliedschaft;27
6.1.1.2.2;2.1.2.2 Zweck;28
6.1.1.2.3;2.1.2.3 Hierarchie;28
6.1.2;2.2 Organisationstheorien – vom Einfachen zum Komplexen;29
6.1.2.1;2.2.1 Bürokratietheorie von Max Weber;30
6.1.2.2;2.2.2 Arbeitsteilung: Taylorismus und Fordismus;30
6.1.2.3;2.2.3 Human-Relation-Ansatz;32
6.1.2.4;2.2.4 Situativer Ansatz;32
6.1.2.5;2.2.5 Neoinstitutionalistische Organisationstheorie;33
6.1.2.6;2.2.6 Systemtheorien;34
6.1.2.7;2.2.7 Dezentralisierung als aktueller Trend?;35
6.1.3;2.3 Hochschulspezifische Organisationstheorien;40
6.1.3.1;2.3.1 Hochschule als Profibürokratie;40
6.1.3.2;2.3.2 Hochschule als organisierte Anarchie;41
6.1.3.3;2.3.3 Hochschule als lose gekoppelte Systeme;41
6.1.4;2.4 Outputsteuerung als eine Folge von Dezentralisierung;41
6.1.4.1;2.4.1 Neues Steuerungsmodell;42
6.1.4.2;2.4.2 Hochschulgovernance;43
6.1.4.2.1;2.4.2.1 Staatliche Regulierung;43
6.1.4.2.2;2.4.2.2 Außensteuerung;44
6.1.4.2.3;2.4.2.3 Wettbewerb;44
6.1.4.2.4;2.4.2.4 Akademische Selbstorganisation;45
6.1.4.2.5;2.4.2.5 Hierarchisch administrative Selbststeuerung;46
6.1.4.3;2.4.3 Zusammenfassung;46
6.1.5;2.5 Qualitätssicherung im Hochschulbereich;48
6.1.5.1;2.5.1 Qualität, Qualitätssicherung und Qualitätsmanagement;49
6.1.5.1.1;2.5.1.1 Qualität;49
6.1.5.1.2;2.5.1.2 Qualitätssicherung;50
6.1.5.1.3;2.5.1.3 Qualitätsmanagement;51
6.1.5.2;2.5.2 Qualitätssicherungsmodelle;52
6.1.5.2.1;2.5.2.1 Die Qualitätssicherungsnormreihe ISO 9000ff.;52
6.1.5.2.2;2.5.2.2 Total Quality Management;54
6.1.5.2.3;2.5.2.3 European Foundation for Quality Management;56
6.1.5.2.4;2.5.2.4 Benchmarking;57
6.1.5.2.5;2.5.2.5 Wissensbilanz;58
6.1.5.2.6;2.5.2.6 Monitoring und Controlling;58
6.1.5.2.7;2.5.2.7 Balanced Scorecard;59
6.1.5.2.8;2.5.2.8 Zielvereinbarungen;60
6.1.5.2.9;2.5.2.9 Zusammenfassung und mögliches Anwendungspotential;61
6.1.5.3;2.5.3 Hochschulspezifische Qualitätssicherungsmodelle;63
6.1.5.3.1;2.5.3.1 Hochschulrankings;63
6.1.5.3.2;2.5.3.2 Indikatorgesteuerte Mittelverteilung;64
6.1.5.3.3;2.5.3.3 Absolventenbefragungen;65
6.1.5.3.4;2.5.3.4 Das „Institutional Evaluation Programme“ der EUA;66
6.1.5.3.5;2.5.3.5 Akkreditierung;66
6.2;3 Evaluation im Überblick;72
6.2.1;3.1 Begriffliche Einordnung;72
6.2.1.1;3.1.1 Definition;72
6.2.1.2;3.1.2 Zwecke der Evaluation;75
6.2.1.2.1;3.1.2.1 (Gesellschaftliche) Aufklärung;75
6.2.1.2.2;3.1.2.2 Legitimation;76
6.2.1.2.3;3.1.2.3 Steuerung;77
6.2.1.3;3.1.3 Formen der Evaluation;77
6.2.1.3.1;3.1.3.1 Summative vs. formative Evaluation;77
6.2.1.3.2;3.1.3.2 Interne vs. externe Evaluation;78
6.2.2;3.2 Historische Entwicklung;78
6.2.2.1;3.2.1 International;78
6.2.2.2;3.2.2 National;85
6.2.2.3;3.2.3 Entwicklungstrends und Perspektiven;90
6.2.3;3.3 Evaluationstheorien – eine Systematisierung;92
6.2.3.1;3.3.1 Methodenast;94
6.2.3.2;3.3.2 Nutzungsast;99
6.2.3.3;3.3.3 Wertungsast;105
6.2.3.4;3.3.4 Zusammenfassung;110
6.3;4 Evaluation an Hochschulen;113
6.3.1;4.1 Entstehungsgeschichte der Evaluation an Hochschulen;113
6.3.2;4.2 Qualitätssicherung durch Evaluationen an Hochschulen;115
6.3.3;4.3 Zwecke der Evaluation an Hochschulen;117
6.3.3.1;4.3.1 Forschungsparadigma;117
6.3.3.2;4.3.2 Kontrollparadigma;118
6.3.3.3;4.3.3 Entwicklungsparadigma;118
6.3.4;4.4 Formen der Evaluation von Lehre und Studium;119
6.3.4.1;4.4.1 Lehrberichte;120
6.3.4.2;4.4.2 Interne und externe Evaluation;121
6.3.4.2.1;4.4.2.1 Interne Evaluation;121
6.3.4.2.2;4.4.2.2 Externe Evaluation;122
6.4;5 Studentische Lehrveranstaltungsevaluation im Fokus;124
6.4.1;5.1 Aktuelle Praxis der LVE;124
6.4.1.1;5.1.1 Entwicklung und Verbreitung der LVE;124
6.4.1.2;5.1.2 Evaluationsinstrumente;125
6.4.1.3;5.1.3 Durchführung und Datenerhebung;126
6.4.1.4;5.1.4 Auswertung und Interpretation;127
6.4.2;5.2 Zur Aussagekraft studentischer LVE;128
6.4.2.1;5.2.1 Studentisches Urteilsverhalten;129
6.4.2.1.1;5.2.1.1 Bewerten Studierende wirklich den Lehrenden oder vielmehr sich selbst?;129
6.4.2.1.2;5.2.1.2 Individuelle Urteile;129
6.4.2.1.3;5.2.1.3 Über die Fähigkeit differenzierter Bewertungen;130
6.4.2.1.4;5.2.1.4 Veränderungen der Beurteilungen im Zeitverlauf;131
6.4.2.1.5;5.2.1.5 Verzerrungen durch Drop-Outs?;131
6.4.2.2;5.2.2 Einfluss lernangebotsunabhängiger Aspekte;132
7;Teil 2 – EMPIRIE;142
7.1;6 Ausgangslage und Forschungsdefizit;143
7.1.1;6.1 Empirische Sozialforschung und ihr Erkenntnisgewinn;146
7.1.1.1;6.1.1 Besonderheiten der empirischen Sozialforschung;147
7.1.1.2;6.1.2 Methoden der empirischen Sozialforschung;148
7.1.1.2.1;6.1.2.1 Quantitative und qualitative Methoden im Forschungsprozess;148
7.1.1.2.2;6.1.2.2 Methodentriangulation als ‚versöhnender’ Kompromiss;150
7.1.1.3;6.1.3 Die Einzelfallstudie in der quantitativen Forschungslogik;151
7.1.2;6.2 Fragestellungen;152
7.2;7 Methodisches Vorgehen;154
7.2.1;7.1 Konstruktion des Messinventars;155
7.2.1.1;7.1.1 Zweck der Lehrveranstaltungsevaluation;156
7.2.1.2;7.1.2 Struktur und Aufbau;156
7.2.1.3;7.1.3 Itempool;158
7.2.1.4;7.1.4 Implementationen für die Entwicklung des Messinventars;160
7.2.2;7.2 Zur Güte eines Messinventars;161
7.2.2.1;7.2.1 Objektivität;161
7.2.2.2;7.2.2 Reliabilität;162
7.2.2.3;7.2.3 Validität;166
7.2.2.3.1;7.2.3.1 Befunde aus der Forschung;166
7.2.2.4;7.2.4 Nebenkriterien;171
7.2.2.5;7.2.5 Implementationen für die Testung des Messinventars;171
7.3;8 Analyse existierender Messinstrumente studentischer LVE;174
7.3.1;8.1 Fragebögen der Fakultät 11 der LMU München;175
7.3.2;8.2 Heidelberger Inventar zur Lehrveranstaltungsevaluation;178
7.3.3;8.3 Trierer Inventar zur Lehrveranstaltungsevaluation;182
7.3.4;8.4 Modifizierte Version des TRIL der Universität Landau;185
7.3.5;8.5 Inventar „Student Evaluation of Educational Quality“;186
7.3.6;8.6 Implikationen für die Neukonstruktion;189
8;I Entwicklung der Fragebögen;191
8.1;9 Vorstudien;192
8.1.1;9.1 Vorstudie 1 – Subjektive Vorstellungen guter Lehre;192
8.1.1.1;9.1.1 Theorie;192
8.1.1.2;9.1.2 Methodik;196
8.1.1.3;9.1.3 Ergebnis: „Modell guter Lehre“;198
8.1.2;9.2 Vorstudie 2 – Critical Incident Technique-Workshops;200
8.1.2.1;9.2.1 Theorie;200
8.1.2.2;9.2.2 Methodik;201
8.1.2.2.1;9.2.2.1 Zielkriterien genau bestimmen;201
8.1.2.2.2;9.2.2.2 Planung der Datenerhebung;201
8.1.2.2.3;9.2.2.3 Datensammlung;202
8.1.2.2.4;9.2.2.4 Datenanalyse;202
8.1.2.2.5;9.2.2.5 Interpretation und Ergebnisdarstellung;202
8.1.2.3;9.2.3 Ergebnisse der CIT-Workshops an der Fakultät 11;202
8.1.2.3.1;9.2.3.1 CIT-Workshops mit Studierenden;203
8.1.2.3.2;9.2.3.2 CIT-Workshops mit Lehrenden;210
8.2;10 Konstruktion der Fragebögen;217
8.2.1;10.1 Zweck der Lehrveranstaltungsevaluation;217
8.2.2;10.2 Itempool;218
8.3;11 Die Pilotierung;220
8.3.1;11.1 Stichprobe;221
8.3.2;11.2 Modellannahmen;222
8.3.2.1;11.2.1 Modellannahme I: Das kongenerische Modell;222
8.3.2.2;11.2.2 Modellannahme II: Das Parsimonieprinzip;223
8.3.3;11.3 Allgemeiner Ablauf einer Testphase;223
8.3.3.1;11.3.1 Datenaufbereitung;224
8.3.3.1.1;11.3.1.1 Export der Daten;224
8.3.3.1.2;11.3.1.2 Datensichtung und -bereinigung;225
8.3.3.2;11.3.2 Prüfung der Modellvoraussetzungen;225
8.3.3.2.1;11.3.2.1 Eignung der Daten;226
8.3.3.2.2;11.3.2.2 Itemanalyse;226
8.3.3.2.3;11.3.2.3 Umgang mit fehlenden Werten;227
8.3.3.3;11.3.3 Datenanalysen;227
8.3.3.3.1;11.3.3.1 Parallelanalyse;228
8.3.3.3.2;11.3.3.2 Minimum Average Partial Correlation Approach;228
8.3.3.3.3;11.3.3.3 Bayesien Information Criterion;229
8.3.3.3.4;11.3.3.4 Faktorenanalyse;229
8.3.3.4;11.3.4 Modellprüfung;231
8.3.4;11.4 Vorlesungsbogen;232
8.3.4.1;11.4.1 Wintersemester 2014/15;232
8.3.4.1.1;11.4.1.1 „VL_neu_1“ – die Ausgangsversion;232
8.3.4.1.2;11.4.1.2 Stichprobe;233
8.3.4.1.3;11.4.1.3 Eignung der Daten;233
8.3.4.1.4;11.4.1.4 Itemanalyse;233
8.3.4.1.5;11.4.1.5 Datenanalysen;235
8.3.4.1.6;11.4.1.6 Umgang mit fehlenden Werten;238
8.3.4.2;11.4.2 Sommersemester 2015;238
8.3.4.2.1;11.4.2.1 Der „VL_neu_2“ – die revidierte Version;238
8.3.4.2.2;11.4.2.2 Stichprobe;240
8.3.4.2.3;11.4.2.3 Eignung der Daten;240
8.3.4.2.4;11.4.2.4 Itemanalyse;240
8.3.4.2.5;11.4.2.5 Datenanalysen;242
8.3.4.2.6;11.4.2.6 Umgang mit fehlenden Werten;245
8.3.4.3;11.4.3 Ergebnis der Analysen des Vorlesungsbogens;245
8.3.5;11.5 Seminarbogen;247
8.3.5.1;11.5.1 Sommersemester 2015;247
8.3.5.1.1;11.5.1.1 „S_neu_1“ – die Ausgangsversion;247
8.3.5.1.2;11.5.1.2 Stichprobe;248
8.3.5.1.3;11.5.1.3 Eignung der Daten;248
8.3.5.1.4;11.5.1.4 Itemanalyse;248
8.3.5.1.5;11.5.1.5 Datenanalyse;250
8.3.5.1.6;11.5.1.6 Umgang mit fehlenden Werten;253
8.3.5.2;11.5.2 Wintersemester 2015/16;253
8.3.5.2.1;11.5.2.1 Der „S_neu_2“ – die revidierte Version;253
8.3.5.2.2;11.5.2.2 Stichprobe;254
8.3.5.2.3;11.5.2.3 Eignung der Daten;254
8.3.5.2.4;11.5.2.4 Itemanalyse;254
8.3.5.2.5;11.5.2.5 Datenanalyse;256
8.3.5.2.6;11.5.2.6 Umgang mit fehlenden Werten;258
8.3.5.3;11.5.3 Ergebnisanalyse des MILVE Seminarbogens;258
9;II Validierung der Fragebögen;260
9.1;12 Testung der Gütekriterien des MILVE;261
9.1.1;12.1 Objektivität im MILVE;262
9.1.2;12.2 Reliabilität im MILVE;262
9.1.2.1;12.2.1 Trennschärfe;264
9.1.2.2;12.2.2 Intraklassenkorrelation;264
9.1.3;12.3 Validität im MILVE;265
9.1.3.1;12.3.1 Inhalts- und Augenscheinvalidität;265
9.1.3.2;12.3.2 Konstruktvalididtät;266
9.1.3.3;12.3.3 Kriteriumsvalidität;267
9.1.4;12.4 Nebenkriterien;270
9.1.5;12.5 Zusammenfassung;270
9.1.5.1;12.5.1 Implikationen für weitere Berechnungen;271
9.1.5.1.1;12.5.1.1 Expertenratings;271
9.1.5.1.2;12.5.1.2 Vergleich mit ähnlichen Instrumenten;272
9.1.5.1.3;12.5.1.3 Vergleich von Fremd- und Studierendenbewertungen;272
9.1.5.1.4;12.5.1.4 Vergleich der Bewertung des Lehrenden und den Studierendenbewertungen;272
9.1.5.1.5;12.5.1.5 Vergleich mit Leistungsnachweisen;272
9.1.5.1.6;12.5.1.6 Vergleich mit der Forschungsleistung (z.B. HIRSCH-Index);273
9.1.5.1.7;12.5.1.7 Berechnen des Einflusses von Rahmenbedingungen;273
9.1.5.2;12.5.2 Methodische Restriktionen;274
9.1.5.2.1;12.5.2.1 Auswahl der Veranstaltungen – Stichprobenbezogene Einflüsse;274
9.1.5.2.2;12.5.2.2 Drop-Outs;275
9.1.5.2.3;12.5.2.3 Mehrebenenstruktur;275
9.2;13 MILVE in der Praxis;277
9.2.1;13.1 Fakultätsübergreifende Anwendung des Messinventars;278
9.2.2;13.2 Auswertung der Daten;280
9.2.2.1;13.2.1 Deskriptive Statistik;281
9.2.2.1.1;13.2.1.1 Vorlesungen;281
9.2.2.1.2;13.2.1.2 Seminar;287
9.2.2.2;13.2.2 Weiterführende Auswertungen;293
9.2.2.2.1;13.2.2.1 Vorlesung;295
9.2.2.2.2;13.2.2.2 Seminar;297
9.2.3;13.3 Zusammenfassung der Ergebnisse;299
9.3;14 Diskussion und Ausblick;301
9.3.1;14.1 Aspekte der Bewertung;302
9.3.1.1;14.1.1 Probleme bei der Bewertung durch Mittelwerte;302
9.3.1.2;14.1.2 Über die Notwendigkeit von Qualitätskriterien und -standards;303
9.3.1.3;14.1.3 Zur Bewertung der Ergebnisse studentischer LVE;305
9.3.2;14.2 Formen der Nutzung;305
9.3.2.1;14.2.1 Transparenz- und Forschungsmodell;306
9.3.2.2;14.2.2 Qualifikationsmodell;307
9.3.2.3;14.2.3 Kommunikationsmodell;308
9.3.2.4;14.2.4 Steuerungsmodell;309
9.3.3;14.3 Ein Fazit vor dem hochschulpolitischen Gesamtkontext;311
9.3.3.1;14.3.1 Fakultätsebene;311
9.3.3.2;14.3.2 Fakultätsübergreifende Ebene;312
9.3.3.3;14.3.3 Hochschulische und hochschulpolitische Ebene;313
10;Literaturverzeichnis;315
11;Anhang;354