Prüfen mit Multiple Choice (eBook)
184 Seiten
Hogrefe AG (Verlag)
978-3-456-75902-9 (ISBN)
Kapitel 2
2 Wie entstehen geeignete Multiple-Choice-Items?
Grundlagen der Empfehlungen
Die in diesem Kapitel aufgeführten Empfehlungen zur Formulierung geeigneter MC-Items sind nicht grundsätzlich neu. Sie finden sich in ähnlicher Form in verschiedenen englischsprachigen Lehrbüchern zur Entwicklung von MC-Testitems.
Bei Ellsworth, Dunnell und Orpha (1990) findet sich eine nach Nennhäufigkeit in 32 Lehrbüchern sortierte Liste von 37 Regeln. Haladyna, Downing und Rodriguez (2002) publizierten auf der Basis von 27 Lehrbüchern aus dem Zeitraum 1990–2001 eine thematisch gruppierte Liste von 31 Regeln. Diese finden sich erläutert und mit Beispielen illustriert in der 3. Auflage von Haldynas Lehrbuch zur Entwicklung und Validierung von Multiple-Choice-Items von 2004 (Haladyna, 2004). Im erweiterten Lehrbuch von 2013 (Haladyna & Rodriguez, 2013) sind die Empfehlungen – wie im vorliegenden Buch – in Beziehung zu Messicks und Kanes Konzepten zur Konstruktgültigkeit gebracht.
Spezifisch für die ärztliche Ausbildung veröffentlichten Case und Swanson (2002) eine wertvolle MC-Anleitung, der wir unter anderem die Empfehlungen zum Verfassen von Problem- und Fallvignetten verdanken. Seit 2016 ist dieses Buch in einer überarbeiteten und um den Einsatz audiovisueller Medien erweiterten 4. Auflage verfügbar (Paniagua & Swygert, 2016).
Empfehlungen 1–3: das Richtige prüfen
Auf Grundlage dieser Literatur und der eigenen langjährigen Erfahrung bezüglich Entwicklung und Auswertung von MC-Fragen werden in der Folge zuerst drei Maßnahmen zur repräsentativen Erfassung des Prüfungskonstruktes empfohlen. Diese sind also dafür entscheidend, dass das Richtige geprüft wird. Sie kommen bereits zum Zug bei der Wahl eines geeigneten Fragenthemas und sind für formatives Prüfen ebenso wichtig wie für summatives.
Empfehlungen 4–7: richtig prüfen
Anschließend werden vier Maßnahmen resp. Maßnahmengruppen empfohlen gegen den Einfluss konstrukt-irrelevanter Faktoren. Diese tragen also dazu bei, dass das Geprüfte richtig geprüft wird. Dies ist besonders wichtig bei summativem Prüfen.
Eine Übersicht über die sieben Empfehlungen findet sich im vorangehenden Kap. 1.3 auf S. 33.
2.1
Empfehlungen 1-3 zur repräsentativen Erfassung des Konstruktes
Empfehlung 1: Vorwärts orientiert relevante Themen, Probleme, Handlungen wählen
Muss man das wissen resp. können?
Bevor ein Item ausgearbeitet wird, ist zu hinterfragen, wie wichtig es ist, dass die Auszubildenden das vorgesehene Problem selbstständig lösen resp. die sich ergebende Frage richtig beantworten können.
Was ist relevant?
Geprüft werden sollte, was in der weiteren Ausbildung und letztlich im Beruf
- häufig gebraucht wird,
- was eine häufige Quelle von Fehlern darstellt,
- bei dem Fehler negative Folgen haben können oder
- das für das Verständnis späterer Lerninhalte entscheidend ist.
Key-Feature-Konzept
Fragen zu klinischen Problemen sind bevorzugt auf kritische Entscheidungsschritte (key features) zu fokussieren, von denen die erfolgreiche Problemlösung abhängt.
In Kap. 1.2.1 sind die Key-Feature-Prüfungen nach Bordage und Page vorgestellt und diskutiert worden. Unseres Erachtens ist die Umsetzung des inhaltlichen Grundsatzes dieses Konzepts nicht an spezifische Antwortformate gebunden. Dieser kann problemlos auch in MC-Fragen mit kurzen Antwortlisten realisiert werden.
Irrelevantes vermeiden
Spitzfindigkeiten und Raritäten sind als Frageninhalte ebenso zu vermeiden wie Trivialitäten.
Verlockungen des „einfachen Weges“ widerstehen
Fragen aus dem eigenen Spezialgebiet oder aktuellen Forschungsfeld sind hinsichtlich Relevanz (und Stufengerechtigkeit) besonders kritisch zu beurteilen.
Der Verlockung, primär Inhalte zu prüfen, die sich leicht in MC-Fragen fassen lassen, ist zu widerstehen.
Hilfsmittel Lernzielkatalog
Hilfreich zur Orientierung für Fragenautoren/Fragenautorinnen und zur Überprüfung verfasster Fragen hinsichtlich Relevanz ist das Vorliegen eines Lernzielkataloges, bei dessen Entwicklung schon die Kriterien Häufigkeit und Kritikalität maßgebend waren.
Empfehlung 2: Auf adäquaten taxonomischen Stufen prüfen
Welches kognitive Anspruchsniveau wird in der Ausbildung angestrebt?
Wird in einer Ausbildung der Aufbau von Kompetenzen angestrebt, muss auch kompetenzorientiert geprüft werden. Aus Items, die lediglich die Reaktivierung auswendig gelernter Einzelfakten erfordern, entsteht keine Prüfung, die eine gültige Schlussfolgerung auf Kompetenzen zulässt. Zudem würde eine solche Prüfung das Lernen in eine falsche Richtung leiten. Erforderlich sind Items, die das Verstehen von Zusammenhängen erfordern, das Anwenden von Wissen zur Lösung von Problemen sowie das Beurteilen von Gegebenheiten und Ergebnissen.
Stufe „Kennen“
Solange Inhalte so abgefragt werden, wie sie im Lehrbuch oder Skript stehen, also lediglich im Gedächtnis gespeicherte Informationen abgerufen werden müssen, wird auf der untersten kognitiven Anspruchsstufe „Kennen“ geprüft. Dies gilt nicht nur für Begriffe oder isolierte Einzelfakten, sondern auch für komplexere Inhalte wie Prinzipien oder Theorien.
Stufe „Verstehen“
Verstehen kann geprüft werden, wenn die Kandidaten zur Beantwortung eines Items
- Informationen analysieren, verknüpfen, integrieren,
- Informationen transformieren (z.B. Bild, Grafik → Sprache),
- Zusammenhänge erfassen,
- Schlussfolgerungen ziehen müssen.
Stufe „Anwenden und Beurteilen“
Anwenden und Beurteilen kann geprüft werden, wenn die Kandidaten zur Beantwortung eines Items
- erworbenes Wissen auf neue Situationen übertragen (abstrahieren, transferieren, generalisieren),
- erworbenes Wissen zum Lösen von Problemen einsetzen,
- Informationen (Gegebenheiten, Ergebnisse) beurteilen, bewerten, gewichten und Folgen abschätzen müssen.
Diese 3-stufige Taxonomie (Guilbert, 1998) beruht auf der 6-stufigen Bloom’schen Taxonomie (Bloom, 1976). Die Kategorien „Analyse“ und „Synthese“, die in letzterer zwischen „Anwenden“ und „Beurteilen“ eingefügt sind, werden hier als Teilaspekte des Problemlösens und z.T. auch des Verstehens erachtet.
erforderliche Informationsverarbeitung
Kompetenzorientiertes Prüfen auf den Stufen „Verstehen“ sowie „Anwenden und Beurteilen“ erfordert die Vorgabe zu verarbeitender Informationen wie z.B.
- konkrete (Patienten-)Fälle, Probleme usw.,
- Bilder, Grafiken, Schemata, Pläne usw.,
- Messdaten, z.B. Laborwerte, Tabellen usw.,
- Zitate aus Publikationen, Berichten, Verschreibungen usw.,
- bei Prüfung am PC: Filmsequenzen, Tondokumente usw.
Empfehlung 3: Authentisch und fokussiert fragen mit homogenen Antworten
Bei der Entwicklung eines Items sollte überlegt werden, in welchem Kontext das zu prüfende Wissen in der weiteren Ausbildung oder der beruflichen Tätigkeit erforderlich sein könnte, wie sich dort eine entsprechende Frage stellen würde.
Mit erhöhter Wahrscheinlichkeit stellen sich Fragen im Anwendungskontext real, konkret, vorwärtsorientiert und fokussiert.
Fragestellung real, konkret
Fragestellung real, konkret (nicht lehrbuchhaft, abstrakt). Hier ist u.a. zu überdenken, wie gefiltert und verarbeitet Informationen präsentiert werden sollen, auf deren Grundlage die Frage zu beantworten ist. Im klinischen Bereich etwa: Problemschilderung in Patientensprache oder Fachsprache? Präsentation von Bildern und Labordaten oder bereits Nennung der diesbezüglichen Befunde?
Variationen können hier nicht nur die inhaltliche Gültigkeit, sondern auch die Messzuverlässigkeit beeinflussen. In Untersuchungen von Eva, Wood, Riddle, Touchie und Bordage (2010) wirkte es sich in Diagnosefragen nur bei leistungsschwachen Kandidaten erschwerend aus, wenn Symptome in der Fallschilderung authentisch in Laiensprache statt in medizinischer Fachterminologie präsentiert wurden. Bei ausschließlicher Verwendung von Laiensprache resultierte zudem die höchste Messzuverlässigkeit. Kandidaten mit ungenügender Leistung können damit also zuverlässiger identifiziert werden.
Bei der Abwägung, ob man sich bei der Fallschilderung auf lösungsrelevante Informationen beschränken soll oder wieweit auch irrelevante oder gar untypische Befunde mit aufgeführt werden sollen, sind die Ausbildungsstufe der Kandidaten und die zur Verfügung stehende mittlere Beantwortungszeit pro Frage zu berücksichtigen. Auch sollte es nie darum gehen, unfaire Fallstricke auszulegen. Bis zum Ende der Grundausbildung empfiehlt es sich deshalb, ziemlich geradlinige, prototypische Fälle zu verwenden.
Findet die Prüfung am PC statt, kann durch Multimedia die Authentizität zusätzlich erhöht werden: dreidimensionale bewegbare Bilder, Filmsequenzen, Tondokumente usw. Illustrierte Beispiele mit konkreten Empfehlungen zur Erstellung und zum Einsatz solcher medialer Informationsbereicherungen finden sich in Paniagua und Swygert (2016) auf den Seiten...
Erscheint lt. Verlag | 13.5.2019 |
---|---|
Sprache | deutsch |
Themenwelt | Medizin / Pharmazie ► Allgemeines / Lexika |
Schlagworte | AERA • Allgemeine Psychologie • APA • Auswertung • Durchführung • Faktenwissen • Formulierungsfehler • Grundausbildung • internationaler Standard • Kommunikation • Kommunikation für Mediziner • Kompetenzorientierte Prüfung • MC • MC-Methode • Medizin • Messzuverlässigkeit • Multiple Choice • NCME • Planung • Problemlösen • Prüfung • Prüfungsforschung • Psychological Testing • Psychologie • Qualitätssicherung • Qualitätssicherung Prüfung • Verständnis • Wissensanwendung |
ISBN-10 | 3-456-75902-9 / 3456759029 |
ISBN-13 | 978-3-456-75902-9 / 9783456759029 |
Haben Sie eine Frage zum Produkt? |
Größe: 5,2 MB
DRM: Digitales Wasserzeichen
Dieses eBook enthält ein digitales Wasserzeichen und ist damit für Sie personalisiert. Bei einer missbräuchlichen Weitergabe des eBooks an Dritte ist eine Rückverfolgung an die Quelle möglich.
Dateiformat: EPUB (Electronic Publication)
EPUB ist ein offener Standard für eBooks und eignet sich besonders zur Darstellung von Belletristik und Sachbüchern. Der Fließtext wird dynamisch an die Display- und Schriftgröße angepasst. Auch für mobile Lesegeräte ist EPUB daher gut geeignet.
Systemvoraussetzungen:
PC/Mac: Mit einem PC oder Mac können Sie dieses eBook lesen. Sie benötigen dafür die kostenlose Software Adobe Digital Editions.
eReader: Dieses eBook kann mit (fast) allen eBook-Readern gelesen werden. Mit dem amazon-Kindle ist es aber nicht kompatibel.
Smartphone/Tablet: Egal ob Apple oder Android, dieses eBook können Sie lesen. Sie benötigen dafür eine kostenlose App.
Geräteliste und zusätzliche Hinweise
Buying eBooks from abroad
For tax law reasons we can sell eBooks just within Germany and Switzerland. Regrettably we cannot fulfill eBook-orders from other countries.
aus dem Bereich