Testtheorie, Testkonstruktion, Testevaluation (eBook)

2 Testentwicklung

2.1 Testplanung

Die Planung eines Tests beginnt grundsätzlich mit Überlegungen, das zu messende Konstrukt möglichst genau zu definieren bzw. seine Charakteristika festzulegen. Dies geschieht im Idealfall auf der Basis eines psychologischen Modells oder einer psychologischen Theorie. Ist dies (noch) nicht möglich, müssen zunächst vorläufige Explikationen oder Arbeitsmodelle reichen, bis sie im Verlauf weiterer Forschungen präzisiert werden können (s. Fisseni, 2004). Auch Befragungen von Experten oder Personengruppen, die besonders hohe oder niedrige Ausprägungen der entsprechenden Fähigkeit oder Eigenschaft aufweisen, können wichtige Hinweise auf verhaltensrelevante Aspekte des Konstruktes liefern.

Definition des
Konstruktes

Zur weiteren Eingrenzung des Konstruktes sollte aus der Literatur (Lehrbüchern, Überblicksartikeln etc.), aus vorhandenen Theorien, empirischen Befunden und eigenen Überlegungen eine Arbeitsdefinition des Konstruktes formuliert werden. Auf der Basis einer psychologischen Theorie und einer ersten Eingrenzung des Konstruktes können dann weitere Entscheidungen hinsichtlich der Natur der Merkmale, der Testart und des angestrebten Geltungsbereiches des Tests getroffen werden.

2.1.1 Festlegung der Erhebungsmerkmale

Qualitäten von Erhebungsmerkmalen

In Abhängigkeit von der psychologischen Theorie und der Operationalisierbarkeit des Konstruktes können die Erhebungsmerkmale verschiedene Qualitäten und Eigenschaften aufweisen.

Qualitative Merkmale (mit kategorialen Ausprägungen) vs. quantitative Merkmale (mit graduellen Abstufungen): Aus der Natur der Merkmale resultieren im ersten Fall nominalskalierte, im zweiten Fall ordinal- oder intervallskalierte Messungen. Qualitative Merkmale unterteilen Personengruppen lediglich anhand einzelner Kategorien (z. B. Geschlecht, Familienstand oder letzter Schulabschluss), während quantitative Merkmale graduell abgestufte Merkmalseinteilungen erlauben (z. B. anhand eines Intelligenzquotienten oder anhand der erreichten Punktezahl in einem Test).

Eindimensionale (nur ein Konstrukt repräsentierende) Merkmale vs. mehrdimensionale (mehr als ein Konstrukt repräsentierende) Merkmale: Fragen zur Ein- oder Mehrdimensionalität eines Konstruktes lassen sich über Exploratorische Faktorenanalysen (EFA) oder andere Korrelationsstatistiken klären und später ggf. in einzelnen Subtests (Untertests) berücksichtigen. Ein typisches Beispiel für ein mehrdimensionales Konstrukt mit verschiedenen Faktoren ist z. B. „Lebensqualität“, mit dem die materiellen und soziokulturellen Lebensbedingungen einzelner Individuen in einer Gesellschaft zusammengefasst werden (u. a. Einkommen, Bildung, Berufschancen, sozialer Status, Gesundheit). Tests, die entsprechend nur ein Konstrukt erfassen, werden als unidimensionale Tests, Tests die mehrere Konstrukte erfassen, als multidimensionale Tests bezeichnet. Letztere zerfallen häufig in sog. Subtests, die wiederum unidimensional sind.

Zeitlich stabile Merkmale (Traits) vs. zeitlich veränderliche Merkmale (States): Persönlichkeitsmerkmale werden als Traits aufgefasst, während situationsabhängige Zustände als States betrachtet werden.

2.1.2 Festlegung der Testart

Wiederum ist in Abhängigkeit vom Konstrukt eine Entscheidung bezüglich der Testart zu treffen (eine genauere Differenzierung findet sich in Pospeschill & Spinath, 2009):

Leistungstests

Fähigkeiten und Leistung

Fähigkeits- und Leistungstests erfassen Konstrukte, die sich auf Dimensionen der kognitiven Leistungsfähigkeit (maximales Leistungsverhalten) beziehen. Zentrale Konstrukte sind hier z. B.: Problemlösefähigkeit, Wissensreproduktion, spezifische Fähigkeiten, Ausdauer, Konzentrationsvermögen. Eine Unterteilung erfolgt nach: Speed- oder Geschwindigkeitstests (mit einfachen Aufgaben, aber mit Begrenzung der Bearbeitungszeit und Bewertung der richtigen Antworten), Power- oder Niveautests (mit schwierigen Aufgaben, ohne Zeitbegrenzung und Bewertung über das Schwierigkeitsniveau der Aufgaben) und Mischformen (Speed-Power-Tests) aus beiden Testarten.

Persönlichkeitstests

Einstellungen und Verhalten

Persönlichkeitstests erfassen das für eine Person typische Verhalten im Zusammenhang mit spezifischen Ausprägungen von Persönlichkeitsmerkmalen (Verhaltensdispositionen), z. B. aktuelle Zustände (wie Angst), Motivation, Interesse, Einstellungen, Meinungen oder spezifische Persönlichkeitseigenschaften. Folgerichtig wird keine Leistung erwartet, sondern eine Selbstauskunft über persönliches Verhalten (Persönlichkeitsfragebogen). Es gibt keine „richtigen“ oder „falschen“ Antworten, sondern nur unterschiedlich hohe Ausprägungen von Merkmalen. Bei der Beantwortung spielen Aspekte der Spontaneität, der Wahrheitstreue und die Motivation der Probanden eine zentrale Rolle. Subjektive Angaben neigen dabei allerdings prinzipiell zur Verfälschbarkeit.

Objektive Persönlichkeitstests

Objektive Persönlichkeitstests besitzen keine Augenscheinvalidität, d. h. die Probanden können aus der Testinstruktion und den Testaufgaben nicht (wirklich) erkennen, was der Test eigentlich misst. Entsprechend wird auf das Merkmal nicht über subjektive Urteile der eigenen Person, sondern über das Verhalten in einer standardisierten Testsituation zurückgeschlossen.

Projektive Verfahren

Projektive Verfahren (sog. Persönlichkeits-Entfaltungstests) erfassen die Gesamtpersönlichkeit anhand qualitativer Marker. Das Testmaterial ist dabei zumeist bildhaft und mehrdeutig. Dadurch soll den Probanden Gelegenheit gegeben werden, unbewusste und verdrängte Bewusstseinsinhalte in dieses Bildmaterial zu projizieren. So gesehen sind auch diese Verfahren für die Probanden undurchschaubar. Projektive Verfahren erfüllen die Testgütekriterien nur in Ausnahmefällen und dienen daher eher zumeist als Explorationshilfen. Vor einer Verwendung ist daher immer zu prüfen, ob sich die benötigten diagnostischen Daten nicht durch alternative Verfahren erheben lassen, deren psychometrische Gütekriterien besser erfüllt sind.

2.1.3 Festlegung des Geltungsbereichs

Der Geltungsbereich legt die Einsatzbereiche und Anwendungsmöglichkeiten eines Tests fest und ist von verschiedenen Faktoren abhängig.

Heterogenität vs. Homogenität von Aufgaben

inhaltliche Vielfalt

Mit Anwachsen des Geltungsbereichs eines Tests müssen auch mehr Informationen erfasst werden, damit die geforderten Kriterien mit ausreichender Genauigkeit vorhergesagt werden können. Dies erhöht allerdings auch die Heterogenität der Aufgaben. Dem steht die Empfehlung gegenüber, den Geltungsbereich unter testtheoretischen Gesichtspunkten möglichst eng zu definieren, also nur gezielte Verhaltens- oder Leistungsaspekte zu erfassen, was wiederum die Anzahl der erfassten Kriterien einschränkt. Damit gewinnen die Aufgaben an Homogenität. Die notwendige Entscheidung hat z. B. Auswirkungen auf die Kriteriumsvalidität, da mit der Auswahl der Aufgaben auch die Kriterien festgelegt werden, die der Test vorhersagen soll.

Analysestichprobe, Eichstichprobe und Personenkreis des Tests

Zielgruppe

Sowohl die Zusammensetzung der Stichprobe zur Erprobung des Tests (Analysestichprobe), zur Gewinnung von Normwerten (Eichstichprobe) sowie eine Entscheidung über die Zielgruppe beeinflussen den Geltungsbereich des Tests maßgeblich. Während die Analysestichprobe der Itemanalyse dient, soll anhand der Eichstichprobe die Validität des Tests festgestellt und eine Normierung der Ergebnisse vorgenommen werden. Beide Stichproben sind unabhängig voneinander zu ziehen. Beide Stichproben (insbesondere die Eichstichprobe) sollten die gleichen Ein- und Ausschlusskriterien erfüllen, die auch für den Personenkreis zutrifft, für den der Test Aussagen treffen will. Ist die avisierte Zielgruppe eher breit angelegt, müssen sich die Items über einen größeren Schwierigkeits- bzw. Merkmalsbereich erstrecken und ggf....