Prüfen mit Multiple Choice (eBook)

Inhalt und Vorwort 7
1 Prüfen mit Multiple Choice: wozu – was – wie? 19
1.1 Wozu sollen MC-Items resp. soll eine MC-Prüfung dienen? 19
1.2 Was prüfen mit der MC-Methode? 23
1.2.1 Möglichkeiten und Grenzen der MC-Methode 23
1.2.2 Festlegen der angestrebten Schlussfolgerungen (Interpretationen, Entscheidungen) und deren Gültigkeitsdomäne (Blueprint) 29
1.3 Wie prüfen mit der MC-Methode? 33
2 Wie entstehen geeignete Multiple-Choice-Items? 43
2.1 Empfehlungen 1-3 zur repräsentativen Erfassung des Konstruktes 44
Empfehlung 1: Vorwärts orientiert relevante Themen, Probleme, Handlungen wählen 44
Empfehlung 2: Auf adäquaten taxonomischen Stufen prüfen 45
Empfehlung 3: Authentisch und fokussiert fragen mit homogenen Antworten 46
2.2 Empfehlungen 4-7, um konstrukt-irrelevanten Einflüssen und Zufälligkeiten entgegenzuwirken 51
Empfehlung 4: Eindeutige Lösung 51
Empfehlung 5: Angemessene Schwierigkeit 52
Empfehlung 6: Einheitliche, eindeutige, prägnante, einfache Formulierung 54
Empfehlung 7: Vermeiden ungewollter Lösungshinweise 62
3 Verschiedene Itemtypen: wozu, wie? 73
3.1 Vier Grundsätze zur Verwendung verschiedener Itemtypen 73
3.2 Itemtypologie: Best-Antwort-Typen und Richtig/Falsch-Typen 74
3.3 Einfachwahl aus 3 bis 5 Wahlantworten (Typ A) 76
3.4 Alternative Best-Antwort-Typen 81
3.4.1 „Zuordnung“ (Typ B) 81
3.4.2 Erweiterte Zuordnung (Typ R) 83
3.4.3 Wahl einer angegebenen Zahl bester Antworten (Typ PickN) 85
3.5 Vierfache Entscheidung richtig/falsch (Typ K', genannt Kprim) 87
3.6 Alternative Richtig/Falsch-Typen 96
3.6.1 Richtig/Falsch-Beurteilung einzelner Aussagen (Typ R/F) 96
3.6.2 Richtig/Falsch-Beurteilung zweier Aussagen und ihrer kausalen Verknüpfung (Typ E) 97
4 Wie wird die Qualität von MC-Prüfungen sichergestellt? 103
4.1 Qualitätssicherungskette für MC-Prüfungen 103
4.2 Zeitliche Planung und Arbeitsteilung 104
4.3 Itembestellung und Itemproduktion 105
4.4 Itemrevision 107
4.5 Prüfungserstellung 108
4.6 Prüfungsdurchführung 113
4.6.1 In der Prüfungsvorbereitung der Kandidaten für Chancengleichheit sorgen 113
4.6.2 Bei der Prüfungsdurchführung dem Einfluss von Störfaktoren entgegenwirken 114
4.6.3 Integrität der gegebenen Antworten überprüfen, Antworten sicherstellen 118
4.7 Prüfungsauswertung 121
4.7.1 Erfassung und Scoring der Antworten 122
4.7.2 Identifikation und Ausschluss fehlerhafter und unfairer Items, Kontrolle der Messqualität der Prüfung 124
4.7.3 Ermittlung der Gesamtpunktzahl der Kandidaten 130
4.7.4 Setzen und Konstanthalten der Bestehensgrenze 130
4.7.5 Ergebnisrückmeldung an die Kandidaten 139
4.9 Examinatorenfeedback 140
Anhang 1: Checkliste zur Formulierung guter Multiple-Choice-Items 149
Anhang 2: Instruktion zum korrekten Vorgehen bei der Fragenbeantwortung 152
Anhang 3: Instruktionen zur Beantwortung der einzelnen Typen 153
Anhang 4: Das korrekte Vorgehen beim Markieren des Antwortblattes 155
Anhang 5: Unterstützung des Transfers auf nicht ärztliche Inhaltsbereiche 156
Glossar mit Verweis auf Textstellen 173
Abbildungsnachweis 181

2 Wie entstehen geeignete Multiple-Choice-Items?

Die in diesem Kapitel aufgeführten Empfehlungen zur Formulierung geeigneter MCItems sind nicht grundsätzlich neu. Sie finden sich in ähnlicher Form in verschiedenen englischsprachigen Lehrbüchern zur Entwicklung von MC-Testitems. Bei Ellsworth, Dunnell und Orpha (1990) findet sich eine nach Nennhäufigkeit in 32 Lehrbüchern sortierte Liste von 37 Regeln. Haladyna, Downing und Rodriguez (2002) publizierten auf der Basis von 27 Lehrbüchern aus dem Zeitraum 1990–2001 eine thematisch gruppierte Liste von 31 Regeln. Diese finden sich erläutert und mit Beispielen illustriert in der 3. Auflage von Haldynas Lehrbuch zur Entwicklung und Validierung von Multiple-Choice-Items von 2004 (Haladyna, 2004). Im erweiterten Lehrbuch von 2013 (Haladyna & Rodriguez, 2013) sind die Empfehlungen – wie im vorliegenden Buch – in Beziehung zu Messicks und Kanes Konzepten zur Konstruktgültigkeit gebracht.

Spezifisch für die ärztliche Ausbildung veröffentlichten Case und Swanson (2002) eine wertvolle MC-Anleitung, der wir unter anderem die Empfehlungen zum Verfassen von Problem- und Fallvignetten verdanken. Seit 2016 ist dieses Buch in einer überarbeiteten und um den Einsatz audiovisueller Medien erweiterten 4. Auflage verfügbar (Paniagua & Swygert, 2016).

Auf Grundlage dieser Literatur und der eigenen langjährigen Erfahrung bezüglich Entwicklung und Auswertung von MC-Fragen werden in der Folge zuerst drei Maßnahmen zur repräsentativen Erfassung des Prüfungskonstruktes empfohlen. Diese sind also dafür entscheidend, dass das Richtige geprüft wird. Sie kommen bereits zum Zug bei der Wahl eines geeigneten Fragenthemas und sind für formatives Prüfen ebenso wichtig wie für summatives.

Anschließend werden vier Maßnahmen resp. Maßnahmengruppen empfohlen gegen den Einfluss konstrukt-irrelevanter Faktoren. Diese tragen also dazu bei, dass das Geprüfte richtig geprüft wird. Dies ist besonders wichtig bei summativem Prüfen.

Eine Übersicht über die sieben Empfehlungen findet sich im vorangehenden Kap. 1.3 auf S. 33.