Qualitätssicherung sozialwissenschaftlicher Erhebungsinstrumente (eBook)

Dr. Natalja Menold ist Wissenschaftliche Teamleiterin des Teams "Questionnaire Design & Evaluation" am GESIS Leibniz-Institut für Sozialwissenschaften.Dr. Tobias Wolbring ist Professor für Empirische Wirtschaftssoziologie an der FAU Erlangen-Nürnberg.

Inhalt 6
Vorwort 8
Messqualität und Messprobleme in der Fragebogenkonstruktion 11
1 Identification of Measurement Problems of Survey Items and Scales Using Paradata 12
1 Analytical Framework: Paradata and Measurement Problems 12
2 Data Collection and Preparation of Response Latencies 15
3 Empirical Applications 16
3.1 Acquiescence Effects and the Strength of Generalized Attitudes as Predictors 16
3.2 Question Order Effects for Fast and Slow Responses 23
3.3 Social Desirability Bias 27
4 Conclusion 33
5 Literature 34
2 Messfehler in der Harmonisierung soziodemographischer Variablen für den internationalen Vergleich 39
1 Der Total Survey Error in ländervergleichenden Umfragen 40
2 Die Komponenten des TSE 41
3 Der Elemente des Total Survey Error und ihre Bedeutung für den Ländervergleich sozialdemographischer Variablen 44
3.1 Technische Fehler und processing error 44
3.2 Spezifikationsfehler 49
3.3 Validity error 54
3.4 Coverage error 56
4 Schlussbetrachtung: Regeln zur Harmonisierung soziodemographischer Variablen 59
5 Literatur 63
3 Einflüsse unterschiedlicher Formen der Verbalisierung von Antwortskalen auf das Antwortverhalten von Befragungspersonen 67
1 Einleitung und Hintergrund 68
2 Forschungshypothesen 72
3 Methoden 73
3.1 Forschungsdesign 73
3.2 Beschreibung der Fragen 74
4 Beschreibung der Stichprobe 76
5 Analytisches Vorgehen 77
6 Ergebnisse 82
6.1 Allgemeine Zufriedenheit 82
6.2 Lebensziele 86
6.3 Politisches Interesse 90
6.4 Gesundheit 94
7 Diskussion 98
8 Literatur 101
4 Effekte der Verbalisierung von Ratingskalen auf die Messqualität. Eine Forschungssynthese 105
1 Einleitung 106
2 Theoretischer Rahmen und bisherige empirische Evidenz 107
3 Effekte der Verbalisierung auf die Messqualität und den kognitiven Prozess 114
4 Effekte der Verbalisierung und der Skalenbreite auf die Messqualität und Messäquivalenz 121
5 Zusammenfassung und Schlussbemerkung 125
6 Literatur 128
5 In der Mitte ist Platz für mehrere Meinungen. Vergleich von partiell- und vollverbalisierten Skalen mit unterschiedlicher Formulierung der Skalenmitte 134
1 Einleitung und Hintergrund 135
2 Hypothesen 139
3 Methode 141
4 Ergebnisse 144
5 Diskussion und Fazit 149
6 Literatur 152
Anhang 156
Qualitätssicherung durch Qualitative Techniken 157
6 Kognitiv oder qualitativ? Pretest-Interviews in der Fragebogenentwicklung 158
1 Thematische Hinführung 159
2 Kognitives Interview: Hintergrund und Herangehensweise 162
3 Fremdverstehen in kognitiven und qualitativen Interviews 168
4 Qualitativ-methodische Alternativen: das Problemzentrierte Interview und das Diskursive Interview 173
5 Zusammenfassung und Fazit 183
6 Literatur 186
7 Die Ergänzung kognitiver Interviews um Eye Tracking. Ein Methodenvergleich 193
1 Einleitung 194
2 Hintergrund 195
2.1 Kognitive Interviews 195
2.2 Eye Tracking 196
2.3 Gründe für den gemeinsamen Einsatz von Eye Tracking und kognitiven Interviews 197
3 Methode 200
3.1 Forschungsdesign und -hypothesen 200
3.2 Teilnehmer 200
3.3 Der Fragebogen 201
3.4 Eye-Tracking-Ausstattung 202
3.5 Interviewleitfaden und Instruktionen für die Interviewer 202
3.6 Vorgehen 203
4 Ergebnisse 205
4.1 Gesamtanzahl an Problemen und Problemtypen 205
4.2 Anzahl problematischer Fragen 207
4.3 Schwere der gefundenen Probleme 209
4.4 Quantitative Eye-Tracking-Daten 211
5 Diskussion und Zusammenfassung 216
6 Literatur 219
8 Qualitätssicherung von Einstellungsskalen mit Hilfe qualitativer Methoden und von „Mixed-Methods-Designs“ – die Messung religiöser Überzeugungen 223
1 Einleitung 224
2 Ausgangslage: Herausforderungen und Qualitätsprobleme bei der Messung religiöser Überzeugungen 225
2.1 Validitätsbedrohungen bei Einstellungsskalen 225
2.2 Messinstrumente zur Erfassung von Religiosität 226
2.3 Ein Beispiel: Die Skala zur Erfassung kosmologischer Überzeugungen 228
3 Ein Mixed-Methods-Design zur Untersuchung von Validitätsproblemen 232
4 Quantitative Befunde 235
4.1 Gruppenspezifische Antwortmuster 236
4.2 Gruppenspezifische Dimensionalität und Faktorenstrukturen der Skala 239
4.3 Wer antwortet bei welchen Items nicht oder wählt die Mittelkategorie? 241
5 Qualitative Befunde 244
5.1 Humanismus 245
5.2 Naturalismus 248
5.3 Theismus 249
6 Fazit 251
7 Literatur 251
Ansätze zur Antwortvalidität 256
9 Rationales Antwortverhalten als Ursache messbezogener Mode-Effekte im Zuge der Erfassung sensitiver Merkmale. Entwicklung eines theoretischen Bezugsrahmens 257
1 Problemstellung 258
2 Der kognitive Prozess rationalen Antwortverhaltens auf sensitive Fragen 260
3 Entscheidungsrelevante Unterschiede zwischen Survey Modes 271
4 Diskussion und Ausblick 285
5 Literatur 288
10 Zur Verhaltensvalidität von Vignettenexperimenten. Theoretische Grundlagen, Forschungsstrategien und Befunde 302
1 Problemstellung 303
2 Vorteile, Nachteile und Befunde zur Anwendung von Vignettenexperimenten 304
2.1 Vorteile bei der Anwendung von Vignettenexperimenten 304
2.2 Nachteil: Intentionen statt Verhalten 306
2.3 Wenige und uneindeutige Befunde 307
3 Verhaltensintentionen und realisiertes Verhalten 308
3.1 Die Theorie geplanten Verhaltens 308
3.2 Der Hypothetical Bias 310
4 Validitätskriterien bei Vignettenexperimenten 312
5 Die Validierung berichteter Verhaltensintentionen über beobachtetes Verhalten 314
5.1 Der kontrafaktische Ansatz zur Kausalität 315
5.2 Strategien zur Sicherung der Ähnlichkeit in der Stichprobenkomposition 316
5.3 Strategien zur Sicherung der Ähnlichkeit in den Effektschätzungen 319
5.4 Strategien zur Sicherung der Ähnlichkeit in den Treatments 321
5.5 Strategien zur Sicherung der Ähnlichkeit in den Messungen der Outcomes 322
5.6 Strategien zur Sicherung der Ähnlichkeit in den Settings 324
6 Zusammenfassung 325
7 Literatur 327
11 Antwortvalidität in Survey-Interviews: Meinungsäußerungen zu fiktiven Dingen 334
1 Hintergrund und Motivation 335
2 Theoretische Perspektiven 339
3 Survey Design und Untersuchungsvariablen 345
4 Ergebnisse: Meinungsäußerungen zu fiktiven Dingen 350
5 Diskussion 358
6 Literatur 360
Qualitätsmangement in der Praxis 364
12 Qualitätssicherung bei der Befragung von Jugendlichen mit einer sogenannten geistigen Behinderung in sozialwissenschaftlichen Studien 365
1 Ausgangslage 366
2 Begriffsbestimmung und Forschungsstand 368
2.1 Begriffsbestimmung ‚sogenannte geistige Behinderung‘ 368
2.2 Forschungsstand zu Befragungsmethoden bei sogenannter geistiger Behinderung 369
3 Methodenstudie zur „Entwicklung inklusiver Forschungsstrategien in der Jugendforschung am Beispiel von Freundschaften und Peerbeziehungen von Jugendlichen mit Behinderungen“ 370
3.1 Ziele und Methoden des Projekts 370
3.2 Stichproben, Design und Instrumente 371
4 Ergebnisse und Diskussion im Hinblick auf Inhalt und Methodik in quantitativen Befragungen von Jugendlichen mit sogenannter geistiger Behinderung 373
4.1 Inhalte der Befragung 373
4.2 Settings und Befragungsmodi 375
4.2.1 Zeitpunkt, Ort, Umfang 375
4.2.2 Anwesenheit Dritter 376
4.2.3 Befragungsmodus, Selbst- oder Fremdadministrierung 377
4.2.4 Rolle der Interviewerin/des Interviewers 379
4.3 Gestaltung des Fragebogens 380
4.3.1 Sprachgebrauch und Kommunikationsformen 380
4.3.2 Fragearten und Antwortformate 383
4.3.3 Visualisierungen der Antwortmöglichkeiten 388
4.3.4 Komplexität 390
5 Selbstauskunft und ihre Grenzen 391
6 Literatur 393
13 Von Qualitätssicherungsmaßnahmen zu einem Qualitätsmanagementsystem in (sozial-)wissenschaftlichen Projekten 401
1 Einleitung 402
2 Begriffsdefinitionen und -erläuterungen 403
3 Anwendungsbeispiel für ein Qualitätsmanagementsystem 407
4 Diskussion 409
5 Ausblick 410
6 Literatur 411
Die Autorinnen und Autoren dieses Bandes 413