Evaluation an Hochschulen (eBook)

Dr. Elisa Knödler ist wissenschaftliche Mitarbeiterin an der Fakultät für Psychologie und Pädagogik sowie bei PROFiL (zentrale Einrichtung zur Personalqualifikation von Lehrenden) der Ludwig-Maximilians-Universität München und freie Evaluatorin.

Inhaltsübersicht 5
Inhaltsverzeichnis 6
Abbildungsverzeichnis 12
Tabellenverzeichnis 13
1Einleitung 16
1.1 Organisation Hochschule und Evaluation 16
1.2 Aufbau und Intention der Arbeit 19
1.2.1 Theorie und Forschungsstand 20
1.2.2 Empirieteil 21
TEIL 1 – THEORIE UND FORSCHUNGSSTAND 24
2 Die Hochschule – eine Organisation im Wandel 25
2.1 Begriffsklärung 25
2.1.1 Definitorische Einordnung 26
2.1.2 Merkmale der Organisation Hochschule 27
2.1.2.1 Mitgliedschaft 27
2.1.2.2 Zweck 28
2.1.2.3 Hierarchie 28
2.2 Organisationstheorien – vom Einfachen zum Komplexen 29
2.2.1 Bürokratietheorie von Max Weber 30
2.2.2 Arbeitsteilung: Taylorismus und Fordismus 30
2.2.3 Human-Relation-Ansatz 32
2.2.4 Situativer Ansatz 32
2.2.5 Neoinstitutionalistische Organisationstheorie 33
2.2.6 Systemtheorien 34
2.2.7 Dezentralisierung als aktueller Trend? 35
2.3 Hochschulspezifische Organisationstheorien 40
2.3.1 Hochschule als Profibürokratie 40
2.3.2 Hochschule als organisierte Anarchie 41
2.3.3 Hochschule als lose gekoppelte Systeme 41
2.4 Outputsteuerung als eine Folge von Dezentralisierung 41
2.4.1 Neues Steuerungsmodell 42
2.4.2 Hochschulgovernance 43
2.4.2.1 Staatliche Regulierung 43
2.4.2.2 Außensteuerung 44
2.4.2.3 Wettbewerb 44
2.4.2.4 Akademische Selbstorganisation 45
2.4.2.5 Hierarchisch administrative Selbststeuerung 46
2.4.3 Zusammenfassung 46
2.5 Qualitätssicherung im Hochschulbereich 48
2.5.1 Qualität, Qualitätssicherung und Qualitätsmanagement 49
2.5.1.1 Qualität 49
2.5.1.2 Qualitätssicherung 50
2.5.1.3 Qualitätsmanagement 51
2.5.2 Qualitätssicherungsmodelle 52
2.5.2.1 Die Qualitätssicherungsnormreihe ISO 9000ff. 52
2.5.2.2 Total Quality Management 54
2.5.2.3 European Foundation for Quality Management 56
2.5.2.4 Benchmarking 57
2.5.2.5 Wissensbilanz 58
2.5.2.6 Monitoring und Controlling 58
2.5.2.7 Balanced Scorecard 59
2.5.2.8 Zielvereinbarungen 60
2.5.2.9 Zusammenfassung und mögliches Anwendungspotential 61
2.5.3 Hochschulspezifische Qualitätssicherungsmodelle 63
2.5.3.1 Hochschulrankings 63
2.5.3.2 Indikatorgesteuerte Mittelverteilung 64
2.5.3.3 Absolventenbefragungen 65
2.5.3.4 Das „Institutional Evaluation Programme“ der EUA 66
2.5.3.5 Akkreditierung 66
3 Evaluation im Überblick 72
3.1 Begriffliche Einordnung 72
3.1.1 Definition 72
3.1.2 Zwecke der Evaluation 75
3.1.2.1 (Gesellschaftliche) Aufklärung 75
3.1.2.2 Legitimation 76
3.1.2.3 Steuerung 77
3.1.3 Formen der Evaluation 77
3.1.3.1 Summative vs. formative Evaluation 77
3.1.3.2 Interne vs. externe Evaluation 78
3.2 Historische Entwicklung 78
3.2.1 International 78
3.2.2 National 85
3.2.3 Entwicklungstrends und Perspektiven 90
3.3 Evaluationstheorien – eine Systematisierung 92
3.3.1 Methodenast 94
3.3.2 Nutzungsast 99
3.3.3 Wertungsast 105
3.3.4 Zusammenfassung 110
4 Evaluation an Hochschulen 113
4.1 Entstehungsgeschichte der Evaluation an Hochschulen 113
4.2 Qualitätssicherung durch Evaluationen an Hochschulen 115
4.3 Zwecke der Evaluation an Hochschulen 117
4.3.1 Forschungsparadigma 117
4.3.2 Kontrollparadigma 118
4.3.3 Entwicklungsparadigma 118
4.4 Formen der Evaluation von Lehre und Studium 119
4.4.1 Lehrberichte 120
4.4.2 Interne und externe Evaluation 121
4.4.2.1 Interne Evaluation 121
4.4.2.2 Externe Evaluation 122
5 Studentische Lehrveranstaltungsevaluation im Fokus 124
5.1 Aktuelle Praxis der LVE 124
5.1.1 Entwicklung und Verbreitung der LVE 124
5.1.2 Evaluationsinstrumente 125
5.1.3 Durchführung und Datenerhebung 126
5.1.4 Auswertung und Interpretation 127
5.2 Zur Aussagekraft studentischer LVE 128
5.2.1 Studentisches Urteilsverhalten 129
5.2.1.1 Bewerten Studierende wirklich den Lehrenden oder vielmehr sich selbst? 129
5.2.1.2 Individuelle Urteile 129
5.2.1.3 Über die Fähigkeit differenzierter Bewertungen 130
5.2.1.4 Veränderungen der Beurteilungen im Zeitverlauf 131
5.2.1.5 Verzerrungen durch Drop-Outs? 131
5.2.2 Einfluss lernangebotsunabhängiger Aspekte 132
Teil 2 – EMPIRIE 142
6 Ausgangslage und Forschungsdefizit 143
6.1 Empirische Sozialforschung und ihr Erkenntnisgewinn 146
6.1.1 Besonderheiten der empirischen Sozialforschung 147
6.1.2 Methoden der empirischen Sozialforschung 148
6.1.2.1 Quantitative und qualitative Methoden im Forschungsprozess 148
6.1.2.2 Methodentriangulation als ‚versöhnender’ Kompromiss 150
6.1.3 Die Einzelfallstudie in der quantitativen Forschungslogik 151
6.2 Fragestellungen 152
7 Methodisches Vorgehen 154
7.1 Konstruktion des Messinventars 155
7.1.1 Zweck der Lehrveranstaltungsevaluation 156
7.1.2 Struktur und Aufbau 156
7.1.3 Itempool 158
7.1.4 Implementationen für die Entwicklung des Messinventars 160
7.2 Zur Güte eines Messinventars 161
7.2.1 Objektivität 161
7.2.2 Reliabilität 162
7.2.3 Validität 166
7.2.3.1 Befunde aus der Forschung 166
7.2.4 Nebenkriterien 171
7.2.5 Implementationen für die Testung des Messinventars 171
8 Analyse existierender Messinstrumente studentischer LVE 174
8.1 Fragebögen der Fakultät 11 der LMU München 175
8.2 Heidelberger Inventar zur Lehrveranstaltungsevaluation 178
8.3 Trierer Inventar zur Lehrveranstaltungsevaluation 182
8.4 Modifizierte Version des TRIL der Universität Landau 185
8.5 Inventar „Student Evaluation of Educational Quality“ 186
8.6 Implikationen für die Neukonstruktion 189
I Entwicklung der Fragebögen 191
9 Vorstudien 192
9.1 Vorstudie 1 – Subjektive Vorstellungen guter Lehre 192
9.1.1 Theorie 192
9.1.2 Methodik 196
9.1.3 Ergebnis: „Modell guter Lehre“ 198
9.2 Vorstudie 2 – Critical Incident Technique-Workshops 200
9.2.1 Theorie 200
9.2.2 Methodik 201
9.2.2.1 Zielkriterien genau bestimmen 201
9.2.2.2 Planung der Datenerhebung 201
9.2.2.3 Datensammlung 202
9.2.2.4 Datenanalyse 202
9.2.2.5 Interpretation und Ergebnisdarstellung 202
9.2.3 Ergebnisse der CIT-Workshops an der Fakultät 11 202
9.2.3.1 CIT-Workshops mit Studierenden 203
9.2.3.2 CIT-Workshops mit Lehrenden 210
10 Konstruktion der Fragebögen 217
10.1 Zweck der Lehrveranstaltungsevaluation 217
10.2 Itempool 218
11 Die Pilotierung 220
11.1 Stichprobe 221
11.2 Modellannahmen 222
11.2.1 Modellannahme I: Das kongenerische Modell 222
11.2.2 Modellannahme II: Das Parsimonieprinzip 223
11.3 Allgemeiner Ablauf einer Testphase 223
11.3.1 Datenaufbereitung 224
11.3.1.1 Export der Daten 224
11.3.1.2 Datensichtung und -bereinigung 225
11.3.2 Prüfung der Modellvoraussetzungen 225
11.3.2.1 Eignung der Daten 226
11.3.2.2 Itemanalyse 226
11.3.2.3 Umgang mit fehlenden Werten 227
11.3.3 Datenanalysen 227
11.3.3.1 Parallelanalyse 228
11.3.3.2 Minimum Average Partial Correlation Approach 228
11.3.3.3 Bayesien Information Criterion 229
11.3.3.4 Faktorenanalyse 229
11.3.4 Modellprüfung 231
11.4 Vorlesungsbogen 232
11.4.1 Wintersemester 2014/15 232
11.4.1.1 „VL_neu_1“ – die Ausgangsversion 232
11.4.1.2 Stichprobe 233
11.4.1.3 Eignung der Daten 233
11.4.1.4 Itemanalyse 233
11.4.1.5 Datenanalysen 235
11.4.1.6 Umgang mit fehlenden Werten 238
11.4.2 Sommersemester 2015 238
11.4.2.1 Der „VL_neu_2“ – die revidierte Version 238
11.4.2.2 Stichprobe 240
11.4.2.3 Eignung der Daten 240
11.4.2.4 Itemanalyse 240
11.4.2.5 Datenanalysen 242
11.4.2.6 Umgang mit fehlenden Werten 245
11.4.3 Ergebnis der Analysen des Vorlesungsbogens 245
11.5 Seminarbogen 247
11.5.1 Sommersemester 2015 247
11.5.1.1 „S_neu_1“ – die Ausgangsversion 247
11.5.1.2 Stichprobe 248
11.5.1.3 Eignung der Daten 248
11.5.1.4 Itemanalyse 248
11.5.1.5 Datenanalyse 250
11.5.1.6 Umgang mit fehlenden Werten 253
11.5.2 Wintersemester 2015/16 253
11.5.2.1 Der „S_neu_2“ – die revidierte Version 253
11.5.2.2 Stichprobe 254
11.5.2.3 Eignung der Daten 254
11.5.2.4 Itemanalyse 254
11.5.2.5 Datenanalyse 256
11.5.2.6 Umgang mit fehlenden Werten 258
11.5.3 Ergebnisanalyse des MILVE Seminarbogens 258
II Validierung der Fragebögen 260
12 Testung der Gütekriterien des MILVE 261
12.1 Objektivität im MILVE 262
12.2 Reliabilität im MILVE 262
12.2.1 Trennschärfe 264
12.2.2 Intraklassenkorrelation 264
12.3 Validität im MILVE 265
12.3.1 Inhalts- und Augenscheinvalidität 265
12.3.2 Konstruktvalididtät 266
12.3.3 Kriteriumsvalidität 267
12.4 Nebenkriterien 270
12.5 Zusammenfassung 270
12.5.1 Implikationen für weitere Berechnungen 271
12.5.1.1 Expertenratings 271
12.5.1.2 Vergleich mit ähnlichen Instrumenten 272
12.5.1.3 Vergleich von Fremd- und Studierendenbewertungen 272
12.5.1.4 Vergleich der Bewertung des Lehrenden und den Studierendenbewertungen 272
12.5.1.5 Vergleich mit Leistungsnachweisen 272
12.5.1.6 Vergleich mit der Forschungsleistung (z.B. HIRSCH-Index) 273
12.5.1.7 Berechnen des Einflusses von Rahmenbedingungen 273
12.5.2 Methodische Restriktionen 274
12.5.2.1 Auswahl der Veranstaltungen – Stichprobenbezogene Einflüsse 274
12.5.2.2 Drop-Outs 275
12.5.2.3 Mehrebenenstruktur 275
13 MILVE in der Praxis 277
13.1 Fakultätsübergreifende Anwendung des Messinventars 278
13.2 Auswertung der Daten 280
13.2.1 Deskriptive Statistik 281
13.2.1.1 Vorlesungen 281
13.2.1.2 Seminar 287
13.2.2 Weiterführende Auswertungen 293
13.2.2.1 Vorlesung 295
13.2.2.2 Seminar 297
13.3 Zusammenfassung der Ergebnisse 299
14 Diskussion und Ausblick 301
14.1 Aspekte der Bewertung 302
14.1.1 Probleme bei der Bewertung durch Mittelwerte 302
14.1.2 Über die Notwendigkeit von Qualitätskriterien und -standards 303
14.1.3 Zur Bewertung der Ergebnisse studentischer LVE 305
14.2 Formen der Nutzung 305
14.2.1 Transparenz- und Forschungsmodell 306
14.2.2 Qualifikationsmodell 307
14.2.3 Kommunikationsmodell 308
14.2.4 Steuerungsmodell 309
14.3 Ein Fazit vor dem hochschulpolitischen Gesamtkontext 311
14.3.1 Fakultätsebene 311
14.3.2 Fakultätsübergreifende Ebene 312
14.3.3 Hochschulische und hochschulpolitische Ebene 313
Literaturverzeichnis 315
Anhang 354