Testtheorie und Fragebogenkonstruktion (eBook)

Vorwort zur 3. Auflage 6
Vorwort zur 2. Auflage 8
Vorwort zur 1. Auflage 10
Inhaltsverzeichnis 12
Herausgeber- und Autorenverzeichnis 19
1 Einführung und zusammenfassender Überblick 22
1.1 Zielgruppen und Gliederungsüberlegungen 23
1.2 Teil I: Konstruktionsgesichtspunkte 24
1.3 Teil II: Testtheorien 26
1.4 Teil III: Validität und Möglichkeiten ihrer Überprüfung 29
1.5 Ergänzende Materialien 31
1.6 Zusammenfassung 31
I Konstruktionsgesichtspunkte 32
2 Qualitätsanforderungen an Tests und Fragebogen („Gütekriterien“) 33
2.1 Vom Laienfragebogen zum wissenschaftlichen Messinstrument 35
2.2 Unterschiedliche Qualitätsanforderungen 36
2.3 Allgemeine Gütekriterien für Tests und Fragebogen 37
2.4 Spezielle testtheoriebasierte Gütekriterien für wissenschaftliche Tests und Fragebogen 47
2.5 Dokumentation der erfüllten Qualitätskriterien 56
2.6 Zusammenfassung 56
2.7 Kontrollfragen 56
Literatur 57
3 Planungsaspekte und Konstruktionsphasen von Tests und Fragebogen 59
3.1 Spezifikation des interessierenden Merkmals 61
3.2 Testarten 64
3.3 Geltungsbereich und Zielgruppe 70
3.4 Testlänge und Testzeit 71
3.5 Testadministration 73
3.6 Struktureller Testaufbau 75
3.7 Konstruktionsphasen im Überblick 77
3.8 Zusammenfassung 83
3.9 Kontrollfragen 83
Literatur 84
4 Itemkonstruktion und Antwortverhalten 87
4.1 Ziele und Aspekte der Itemkonstruktion 89
4.2 Itemstamm und Zielgruppe 89
4.3 Vorgehensweisen bei der Itemgenerierung 91
4.4 Kategorisierung von Frageformen 93
4.5 Gesichtspunkte der Itemformulierung 95
4.6 Kognitive und motivationale Prozesse bei der Itembearbeitung 98
4.7 Response-Bias als Fehlerquelle beim Antwortverhalten 101
4.8 Computerunterstützte Itemkonstruktion 106
4.9 Zusammenfassung 106
4.10 Kontrollfragen 107
Literatur 107
5 Antwortformate und Itemtypen 110
5.1 Antwortformate im Überblick 112
5.2 Aufgaben mit freiem Antwortformat 113
5.3 Aufgaben mit gebundenem Antwortformat 115
5.4 Aufgaben mit atypischem Antwortformat 131
5.5 Entscheidungshilfen für die Wahl des Aufgabentyps 133
5.6 Computerunterstützte Antwortformate 133
5.7 Zusammenfassung 134
5.8 Kontrollfragen 134
Literatur 134
6 Computerbasiertes Assessment 137
6.1 Computerbasiertes Assessment: Definition und Übersicht 139
6.2 Itementwicklung: Antwortformat, Stimulus und Antwortbewertung 142
6.3 Testentwicklung: Testzusammenstellung und -sequenzierung 148
6.4 Testadministration 150
6.5 Datenanalyse und Rückmeldung 153
6.6 Zusammenfassung 155
6.7 EDV-Hinweise 155
6.8 Kontrollfragen 156
Literatur 156
7 Deskriptivstatistische Itemanalyse und Testwertbestimmung 160
7.1 Einleitung 162
7.2 Erstellung der Datenmatrix 162
7.3 Schwierigkeitsanalyse 163
7.4 Itemvarianz 168
7.5 Vorläufige Testwertermittlung 170
7.6 Trennschärfe 170
7.7 Itemselektion auf Basis von Itemschwierigkeit, Itemvarianz und Itemtrennschärfe 172
7.8 Testwertbestimmung und Itemhomogenität 173
7.9 Zusammenfassung 174
7.10 EDV-Hinweise 174
7.11 Kontrollfragen 175
Literatur 175
8 Testwertverteilung 176
8.1 Einleitung 177
8.2 Zentrale Tendenz der Testverteilung 177
8.3 Streuung der Testwertverteilung 178
8.4 Beurteilung der Verteilungsform 178
8.5 Ursachen für die Abweichung der Testwertverteilung von der Normalverteilung 180
8.6 Normalisierung der Testwertverteilung 181
8.7 Zusammenfassung und weiteres Vorgehen 185
8.8 EDV-Hinweise 185
8.9 Kontrollfragen 185
Literatur 185
9 Testwertinterpretation, Testnormen und Testeichung 187
9.1 Testwertbildung und Testwertinterpretation 188
9.2 Normorientierte Testwertinterpretation 189
9.3 Kriteriumsorientierte Testwertinterpretation 195
9.4 Integration von norm- und kriteriumsorientierter Testwertinterpretation 203
9.5 Normdifferenzierung 204
9.6 Testeichung 205
9.7 Zusammenfassung mit Anwendungsempfehlungen 209
9.8 EDV-Hinweise 210
9.9 Kontrollfragen 210
Literatur 211
10 Standards für psychologisches Testen 212
10.1 Ziele von Teststandards 213
10.2 Standards für die Entwicklung und Evaluation psychologischer Tests 213
10.3 Standards für die Übersetzung und Anpassung psychologischer Tests 218
10.4 Standards für die Anwendung psychologischer Tests 219
10.5 Standards für die Qualitätsbeurteilung psychologischer Tests 225
10.6 Zusammenfassung 228
10.7 Kontrollfragen 228
Literatur 228
11 Standards für pädagogisches Testen 231
11.1 Die „Standards for Educational and Psychological Testing“ im Überblick 233
11.2 Domänen, Ziele und Designs pädagogischen Testens 234
11.3 Validitätsstandards und pädagogisches Testen (Standards 1.0–1.25) 243
11.4 Standards zur Reliabilität (Standards 2.10–2.20) 248
11.5 Schwellenwerte und ihre Bedeutung für die Testwertinterpretation 248
11.6 Weitere Implikationen der Standards für pädagogisches Testen 252
11.7 Standards zum Management und zur Archivierung von Daten pädagogischen Testens 256
11.8 Standards für Forschungsethik 258
11.9 Zusammenfassung 259
11.10 Kontrollfragen 259
Literatur 259
II Testtheorien 263
12 Testtheorien im Überblick 264
12.1 Einleitung 265
12.2 Klassische Testtheorie (KTT) 267
12.3 Item-Response-Theorie (IRT) 273
12.4 Klassische Testtheorie (KTT) vs. Item-Response-Theorie (IRT) 281
12.5 Zusammenfassung 284
12.6 Kontrollfragen 284
Literatur 284
13 Klassische Testtheorie (KTT) 287
13.1 Einleitung 289
13.2 Grundannahmen der KTT 289
13.3 Zerlegung einer Itemvariablen in True-Score- und Messfehlervariable 291
13.4 Testwertvariable Y und Testwerte Y_v 292
13.5 Das Gütekriterium der Reliabilität 293
13.6 Messmodelle zur Schätzung der Reliabilität 294
13.7 Empirisches Beispiel 303
13.8 Schätzung individueller Merkmalsausprägungen 306
13.9 Erweiterung der KTT 310
13.10 Zusammenfassung 314
13.11 EDV-Hinweise 314
13.12 Kontrollfragen 314
Literatur 315
14 Klassische Methoden der Reliabilitätsschätzung 317
14.1 Was ist Reliabilität? 319
14.2 Grundlagen 321
14.3 Cronbachs Alpha 326
14.4 Test-Test-Korrelation 334
14.5 Vergleichbarkeit der Reliabilitätsmaße 341
14.6 Einflüsse auf die Reliabilität 342
14.7 Anzustrebende Höhe der Reliabilität 342
14.8 Auswahl eines geeigneten Reliabilitätsmaßes 343
14.9 Zusammenfassung 344
14.10 EDV-Hinweise 345
14.11 Kontrollfragen 345
Literatur 345
15 Modellbasierte Methoden der Reliabilitätsschätzung 347
15.1 Klassische vs. modellbasierte Reliabilitätsschätzung 349
15.2 Eindimensionale Modelle 351
15.3 Mehrdimensionale Modelle 362
15.4 Omega-Koeffizienten im Rahmen weiterer Faktormodelle 372
15.5 Bewertung der modellbasierten Reliabilitätsschätzung 373
15.6 Reliabilitätsschätzung ordinalskalierter Variablen 375
15.7 Erste Empfehlungen zur Beurteilung der Omega-Koeffizienten 376
15.8 Zusammenfassung 377
15.9 EDV-Hinweise 378
15.10 Kontrollfragen 378
Literatur 378
16 Einführung in die Item-Response-Theorie (IRT) 381
16.1 Grundüberlegungen zur IRT 383
16.2 Latent-Trait-Modelle 384
16.3 Dichotomes Rasch-Modell (1PL-Modell) 385
16.4 2PL-Modell nach Birnbaum 411
16.5 3PL-Modell nach Birnbaum 413
16.6 Weitere IRT-Modelle 414
16.7 Zusammenfassung 418
16.8 EDV-Hinweise 419
16.9 Kontrollfragen 419
Literatur 419
17 Interpretation von Testwerten in der Item-Response-Theorie (IRT) 422
17.1 Vorbemerkungen 423
17.2 Grundlagen kriteriumsorientierter Testwertinterpretation in IRT-Modellen 425
17.3 Definition von Kompetenzniveaus zur kriteriumsorientierten Testwertinterpretation 428
17.4 Verwendung von Post-hoc-Analysen und A-priori-Merkmalen zur Testwertbeschreibung 429
17.5 Zusammenfassung 433
17.6 EDV-Hinweise 434
17.7 Kontrollfragen 434
Literatur 434
18 Überblick über Modelle der Item-Response-Theorie (IRT) 436
18.1 Modelle mit eindimensionalen latenten Merkmalen 437
18.2 Modelle mit mehrdimensionalen latenten Merkmalen 449
18.3 Ausblick auf weitere Modelle 454
18.4 Weiterführende Literatur 455
18.5 EDV-Hinweise 455
18.6 Kontrollfragen 456
Literatur 456
19 Parameterschätzung und Messgenauigkeit in der Item-Response-Theorie (IRT) 458
19.1 Verfahren der Parameterschätzung in der IRT: Überblick 460
19.2 Maximum-Likelihood-Schätzung (ML-Schätzung) 461
19.3 Bayes’sche Schätzverfahren 477
19.4 Weitere Schätzverfahren 494
19.5 Personenparameterschätzung in der IRT 495
19.6 Reliabilitätsbeurteilung in der IRT 501
19.7 Zusammenfassung 507
19.8 EDV-Hinweise 508
19.9 Kontrollfragen 509
Literatur 510
20 Computerisiertes adaptives Testen 512
20.1 Was ist computerisiertes adaptives Testen? 513
20.2 Grundgedanke 514
20.3 Elementare Bausteine 517
20.4 Auswirkungen des adaptiven Testens 527
20.5 Multidimensionales adaptives Testen 531
20.6 Zusammenfassung und Anwendungsempfehlungen 532
20.7 EDV-Hinweise 533
20.8 Kontrollfragen 533
Literatur 534
III Validität und Möglichkeiten ihrer Überprüfung 537
21 Validität von Testwertinterpretationen 538
21.1 Einleitung 539
21.2 Validität im fachgeschichtlichen Wandel 539
21.3 Argumentationsbasierter Ansatz der Validierung 544
21.4 Beispiele für Validierungsprozesse 548
21.5 Zusammenfassung 553
21.6 Kontrollfragen 553
Literatur 553
22 Latent-Class-Analyse (LCA) 555
22.1 Einleitung und Überblick 557
22.2 Herleitung der Modellgleichung 560
22.3 Parameterschätzung und Überprüfung der Modellgüte 564
22.4 Exploratorische und konfirmatorische Anwendungen der LCA 570
22.5 Erweiterte Anwendungen der LCA 575
22.6 Zusammenfassung 579
22.7 EDV-Hinweise 580
22.8 Kontrollfragen 580
Literatur 581
23 Exploratorische Faktorenanalyse (EFA) 583
23.1 Einleitung 585
23.2 Faktormodell (Fundamentaltheorem) 586
23.3 Methoden der Faktorenextraktion 593
23.4 Abbruchkriterien der Faktorenextraktion 598
23.5 Faktorenrotation 603
23.6 Modellevaluation und Itemauswahl 612
23.7 Neue Verfahren 616
23.8 Abschließende Bemerkungen 618
23.9 Zusammenfassung 619
23.10 EDV-Hinweise 619
23.11 Kontrollfragen 619
Literatur 620
24 Konfirmatorische Faktorenanalyse (CFA) 623
24.1 Grundlagen 625
24.2 Spezifikation eines Messmodells 627
24.3 Eindimensionale Modelle: Stufen der Messäquivalenz 637
24.4 Mehrdimensionale Modelle 642
24.5 Parameterschätzung 651
24.6 Modellevaluation 656
24.7 Modifikation der Modellstruktur 659
24.8 Modellvergleiche 660
24.9 Messinvarianztestung 661
24.10 Zusammenfassung 664
24.11 EDV-Hinweise 664
24.12 Kontrollfragen 664
Literatur 665
25 Multitrait-Multimethod-Analysen (MTMM-Analysen) 668
25.1 Einleitung 670
25.2 Konvergente und diskriminante Validität 670
25.3 Methodeneffekte 671
25.4 Das MTMM-Design 673
25.5 Korrelationsbasierte Analyse der MTMM-Matrix 676
25.6 Faktorenanalytische Ansätze: Klassische CFA-MTMM-Modelle 679
25.7 Faktorenanalytische Ansätze: Neuere CFA-MTMM-Modelle 685
25.8 Zusammenfassung 690
25.9 EDV-Hinweise 691
25.10 Kontrollfragen 691
Literatur 691
26 Latent-State-Trait-Theorie (LST-Theorie) 694
26.1 Einleitung 695
26.2 LST-Theorie als Erweiterung der KTT 699
26.3 Modelltypen 704
26.4 Anwendungen der LST-Theorie 710
26.5 Zusammenfassung 715
26.6 EDV-Hinweise 716
26.7 Kontrollfragen 716
Literatur 716
27 Konvergente und diskriminante Validität über die Zeit: Integration von Multitrait-Multimethod-Modellen (MTMM-Modellen) und der Latent-State-Trait-Theorie (LST-Theorie) 719
27.1 Einleitung 721
27.2 Längsschnittliche MTMM-Modelle 727
27.3 Multiconstruct-LST- und Multimethod-LST-Modell in der empirischen Anwendung 736
27.4 Praktische Hinweise zur Analyse longitudinaler multimodaler Modelle 741
27.5 Zusammenfassung 742
27.6 EDV-Hinweise 742
27.7 Kontrollfragen 743
Literatur 743
Serviceteil 745
Übersicht der griechischen Buchstaben 746
Übersicht der griechischen Buchstaben 746
Verteilungsfunktion der Standardnormalverteilung (z-Tabelle) 747
Verteilungsfunktion der Standardnormalverteilung (z-Tabelle) 747
Glossar 750
Glossar 750
Stichwortverzeichnis 767
Stichwortverzeichnis 767