Testdaten und Testdatenmanagement (eBook)

Janet Albrecht-Zölch ist seit 2007 in verschiedenen Positionen im Bereich Softwaretest und Testmanagement tätig. Neben ihrer beruflichen Tätigkeit schloss sie 2014 den Masterstudiengang Informatik an der Fernuniversität in Hagen ab. Frau Albrecht-Zölch ist ISTQB® Certified Tester Advanced Level – Testmanagement und seit 2015 Mitglied des Conference Board des German Testing Day sowie des Local Board der German Testing Night. Ihre besonderen Interessen liegen in den Bereichen Qualitätssicherung, Testprozessverbesserung und Testdatenmanagement.

Inhaltsverzeichnis 9
1 Einleitung 19
Teil I: Testdaten 23
2 Testdaten – ein Überblick 25
2.1 Begriffe Testdaten, ideale Testmenge, gute Testdaten 25
2.1.1 Testdaten 26
2.1.2 Gute Testdaten 28
2.1.3 Ideale Testmenge 29
2.2 Kategorien von Testdaten 31
2.2.1 Kategorien nach Reimann 31
2.2.2 Kategorien nach Chace 32
2.2.3 Testdatentypen nach Jagers und Kollegen 33
2.2.4 Definition Testdatenkategorien 34
2.3 Testdatenbestandstypen 35
2.4 Unterscheidung in Primär- und Sekundärdaten 37
2.5 Unterscheidung nach Testobjekt in Testdatentypen 38
2.6 Ergebnisse eines Testlaufs: Soll, Ist, Testergebnis 39
2.7 Metadaten für Testdaten 39
2.8 Testdaten, Testfälle, Testentwurfsverfahren und Testabdeckung 41
2.9 Zusammenfassung 42
3 Eigenschaften von und Anforderungen an Testdaten 45
3.1 Eigenschaften von Testdaten 45
3.2 Anforderungen an Testdaten – ein Überblick 51
3.3 Inhaltliche Anforderungen 52
3.4 Technische und organisatorische Anforderungen 57
3.5 Wirtschaftliche und rechtliche Anforderungen 61
3.6 Wunsch und Wirklichkeit 64
3.7 Erheben und Dokumentieren von Anforderungen an Testdaten 65
3.8 Zusammenfassung 67
4 Probleme mit Testdaten und Risiken 69
4.1 Häufige Probleme mit Testdaten 69
4.1.1 Probleme mit Testdaten, die auf den Faktor Mensch zurückzuführen sind 69
4.1.2 Probleme mit Testdaten, die in den Testdaten selbst liegen 77
4.1.3 Probleme aufgrund fehlerhafter, ungeeigneter oder vergessener Testdaten 81
4.1.4 Herausforderungen bei Gewinnung, Herstellung und Wartung von Testdaten 86
4.1.5 Organisatorische Problemstellungen 93
4.2 Risiken bei Testdaten 99
4.2.1 Fehlende und fehlerhafte Testdaten als Produktrisiko – unentdeckte Fehler 100
4.2.2 Fehlende und fehlerhafte Projektrisiko als Projektrisiko – Verzögerungen und spät entdeckte Fehler 101
4.3 Zusammenfassung 102
5 Gewinnen und Archivieren von Testdaten 105
5.1 Wege zum Gewinnen von Testdaten 105
5.1.1 Herkunft der Daten: Echtdaten versus synthetische Daten 106
5.1.2 Vorgehen: Ansätze zum Aufbauen von Testdatenbeständen 119
5.1.3 Vorgehen: Konstruktion von Testdaten 129
5.1.4 Zufallsdaten 130
5.1.5 Selbstbeschreibende Testdaten 131
5.1.6 Migrieren von Testdaten 133
5.2 Quellen für das Gewinnen von Testdaten 133
5.2.1 Ermitteln von Anforderungen an Testdaten oder Testdaten aus Artefakten des Softwareentwicklungsprojekts 134
5.2.2 Welche Art Information aus welcher Quelle kommen kann 138
5.2.3 Quellen für das automatisierte Generieren von Testdaten 140
5.3 Wie bekommt man die Testdaten in das zu testende System? 142
5.3.1 Direktes Eingeben über Systemschnittstellen 142
5.3.2 Kopieren und Editieren 143
5.3.3 Spezialisierte Testdatenmanagementlösung 143
5.3.4 Automatisieren von Testeingaben 143
5.4 Trennen der Testdaten von Testfällen 144
5.5 Trennen und Reservieren von Testdaten 145
5.6 Versionieren von Testdaten 147
5.7 Archivieren von Testdaten 148
5.7.1 Wozu archivieren? 148
5.7.2 Vor dem Archivieren: Bereinigung der Testumgebung 151
5.7.3 Wie archivieren? 151
5.7.4 Was archivieren? 151
5.7.5 Datenschutz für archivierte Testdaten 152
5.8 Zusammenfassung 152
6 Testdaten und Datenschutz 155
6.1 Regelungen zum Datenschutz 155
6.1.1 EU-Datenschutzrichtlinie 156
6.1.2 Europäische Datenschutz-Grundverordnung (DSGVO) 156
6.1.3 Bundesdatenschutzgesetz (BDSG) 163
6.1.4 Datenschutz auf Länderebene, branchen- oder unternehmensbezogene Vorgaben 165
6.1.5 Standards zum Datenschutz in der Cloud 166
6.2 Anonymisieren, Pseudonymisieren, Verfremden, Maskieren 166
6.2.1 Anonymisierung 166
6.2.2 Pseudonymisierung 170
6.3 Testdaten in der Cloud 172
6.3.1 Testumgebungen in der Cloud 172
6.3.2 Datenschutz nach DSGVO 173
6.3.3 Datenschutz nach ISO/IEC 27018 174
6.4 Zusammenfassung 176
Teil II: Testdatenmanagement 179
7 Testdatenmanagement – ein Überblick 181
7.1 Begriff Testdatenmanagement 181
7.1.1 Testdatenmanagement-Begriff nach ISTQB® – datenorientiert 182
7.1.2 Testdatenmanagement-Begriff nach Gawlik – Mischform, Erzeugung von Testdaten im Fokus 183
7.1.3 Testdatenmanagement-Begriff nach Kruse – managementorientiert 184
7.1.4 Testdatenmanagement-Begriff nach Haller – managementorientiert, Werkzeuge 184
7.1.5 Testdatenmanagement-Begriff nach Haber – prozessorientiert 185
7.1.6 Testdatenmanagement-Begriff nach German Testing Board – Mischform 186
7.1.7 Der Begriff Testdatenmanagement 186
7.2 Wozu Testdatenmanagement? 189
7.3 Ziele des Testdatenmanagements 191
7.4 Inhalte des Testdatenmanagements 193
7.4.1 Testdaten 193
7.4.2 Prozesse, Aktivitäten, Rollen, Artefakte, Standards 194
7.4.3 Organisationsstrukturen 195
7.4.4 Werkzeugunterstützung 195
7.4.5 Regularien 195
7.5 Wie ist das Testdatenmanagement in den Testprozess eingebunden? 196
7.5.1 Testplanung und -steuerung ® Testdaten als Testmittel, Werkzeuge 197
7.5.2 Analyse und Design ® Testdatenanforderungsermittlung, Testdatendesign 197
7.5.3 Testumgebung, Deployment ® Testdaten: Umgebungsdaten, Bestandsdaten 198
7.5.4 Realisierung und Durchführung ® Testdatenerstellung (Bestandsdaten, Eingabedaten u. a.) 198
7.5.5 Testauswertung und -bericht ® Aussage zu Testdaten 199
7.5.6 Abschluss der Testaktivitäten ® Archivierung der Testdaten, Übergabe an die Wartungsmannschaft 199
7.5.7 Testdatenmanagement ist überall 199
7.6 Der richtige Zeitpunkt 200
7.7 Abgrenzung Testdatenmanagement und Datenmanagement 201
7.7.1 Der Begriff Datenmanagement 202
7.7.2 Datenmanagement versus Testdatenmanagement 202
7.7.3 Konzepte und Techniken übertragbar 203
7.8 Abgrenzung Testdatenmanagement und Konfigurationsmanagement 204
7.8.1 Begriffe Konfigurationsmanagement, Konfiguration, Konfigurationsobjekt 205
7.8.2 Testdaten und Testdatenmanagement versus Konfiguration und Konfigurationsmanagement 207
7.8.3 Testdatenmanagement mit Konfigurationsmanagement 208
7.9 Zusammenfassung 209
8 Vorgehensweisen im Testdatenmanagement – Modelle 211
8.1 Prozess nach ASQF-Arbeitsgruppe Testdatenmanagement 211
8.1.1 Inhaltsüberblick (Begriff Testdaten & Testdatenmanagement, Rollen, Werkzeuge, Dokumentation)
8.1.2 Eignung/Einschränkung 212
8.1.3 Was bietet die Vorgehensweise? 213
8.1.4 Rollenkonzept 213
8.1.5 Das Vorgehen gemäß diesem Prozess 213
8.1.6 Methoden und Techniken 216
8.1.7 Dokumentation 217
8.1.8 Werkzeuge 218
8.1.9 Prozesse, Schnittstellen zu anderen Prozessen 218
8.1.10 In drei Sätzen 219
8.2 Framework von Samuel T. Redwine Jr. 219
8.2.1 Inhaltsüberblick (Begriff Testdaten & Testdatenmanagement, Rollen, Werkzeuge, Dokumentation)
8.2.2 Eignung/Einschränkungen 220
8.2.3 Was bietet die Vorgehensweise 221
8.2.4 Das Vorgehen gemäß dieser Best Practice 222
8.2.5 Methoden und Techniken 223
8.2.6 Dokumentation 224
8.2.7 Werkzeuge 224
8.2.8 Prozesse, Schnittstellen zu anderen Prozessen 224
8.2.9 In drei Sätzen 225
8.3 Test Data Management Framework von Borghers und Demey 225
8.3.1 Ansatz 225
8.3.2 Aufbau des Rahmenwerks 225
8.3.3 In drei Sätzen 229
8.4 Weitere Modelle im Überblick 229
8.4.1 Prozessrahmenwerk Test Data Management nach Nittur und Sengupta 229
8.4.2 Strategie nach Murthy und Channagiri 229
8.5 Zusammenfassung 230
9 Vorgehensweisen im Testdatenmanagement – Best Practices 233
9.1 Best Practice nach Chace 233
9.1.1 Inhaltsüberblick (Begriff Testdaten & Testdatenmanagement, Rollen, Werkzeuge, Dokumentation)
9.1.2 Eignung/Einschränkungen 234
9.1.3 Was bietet die Vorgehensweise 234
9.1.4 Das Vorgehen gemäß dieser Best Practice 235
9.1.5 Methoden und Techniken 245
9.1.6 Dokumentation 245
9.1.7 Werkzeuge 246
9.1.8 Prozesse, Schnittstellen zu anderen Prozessen 246
9.1.9 In drei Sätzen 246
9.2 Best Practice nach Haller 247
9.2.1 Inhaltsüberblick (Begriff Testdaten & Testdatenmanagement, Rollen, Werkzeuge, Dokumentation)
9.2.2 Eignung/Einschränkungen 249
9.2.3 Was bietet die Vorgehensweise 249
9.2.4 Werkzeuge 249
9.2.5 Rollenkonzept 250
9.2.6 Das Vorgehen gemäß dieser Best Practice 251
9.2.7 Methoden und Techniken 254
9.2.8 Dokumentation 254
9.2.9 Prozesse, Schnittstellen zu anderen Prozessen 254
9.2.10 In drei Sätzen 254
9.3 Weitere Best Practices im Überblick 255
9.3.1 Best Practice nach Schauber und Leimsner 255
9.3.2 Best Practice nach Govindasamy und Murugesan 256
9.3.3 Best Practice nach Madia 256
9.4 Zusammenfassung 257
10 Organisation – Rollen im Testdatenmanagement 259
10.1 Testdatenmanagement-Rollen 259
10.1.1 Der Testarchitekt als oberster Verantwortlicher (nach ISTQB®) 260
10.1.2 Der Testdatenarchitekt (Test Data Architect) 260
10.1.3 Testdatenmanager, Testdatenmodellierer, Testdatenrealisierer 261
10.1.4 Testdatenmanager und Testdatenteam 266
10.1.5 Testdaten-Consultant, Testdaten-Designer, Solution Implementer, Technical Operator 267
10.2 Test-Rollen ergänzt um Testdatenmanagementaktivitäten 269
10.2.1 Ergänzen vorhandener Tester-Rollen um Testdatenmanagementaktivitäten, eine optionale Testdatenmanagement-Rolle 269
10.2.2 Keine Testdatenmanagement-Rollen, stattdessen zu vorhandenen Rollen des Testteams zuordnen 270
10.2.3 Spezialisierung einer vorhandenen Rolle 270
10.3 Personalunion versus Eigenständigkeit 271
10.4 Zentrales oder dezentrales Testdatenmanagement? 272
10.5 Zusammenfassung 273
11 Werkzeuge für Testdaten & Testdatenmanagement: Anforderungen und Kategorien
11.1 Was Testdatenmanagement-Werkzeuge leisten sollen: Anforderungen an Testdatenwerkzeuge 275
11.1.1 Anforderungen an Werkzeuge zum Erstellen von Testdaten 275
11.1.2 Anforderungen Testdatenmanagement-Werkzeuge 276
11.1.3 Weitere Anforderungen 278
11.2 Kategorien von Testdatenmanagement- Werkzeugen 278
11.2.1 Analyse- und Data-Mining Werkzeuge 279
11.2.2 Werkzeuge für das Erstellen oder Bearbeiten von Testdaten 279
11.2.3 Werkzeuge für die Testdatengenerierung 280
11.2.4 Drei Klassen von Testdatengeneratoren 281
11.2.5 Unterscheidung der Funktionalitäten verschiedener Werkzeuge 283
11.2.6 Weitere Testdatenmanagement-Werkzeuge 284
11.3 Auswahl eines Testdatenwerkzeugs 285
11.3.1 Weitere Voraussetzungen für die Auswahl eines Werkzeugs 287
11.3.2 Testfälle für die Machbarkeitsstudie 287
11.4 Zusammenfassung 288
12 Metriken für Testdaten & Testdatenmanagement
12.1 Metriken im Softwaretest 289
12.1.1 Arten von Metriken 289
12.1.2 Aussagen über Testdaten möglich? 290
12.2 Kategorien von Metriken für Testdaten 291
12.2.1 Mengenbezogene Metriken 291
12.2.2 Qualitätsbezogene Metriken 291
12.3 Konkrete Metriken für Testdaten 292
12.3.1 Datenüberdeckungsmaße für Testdaten im Systemtest 292
12.3.2 Metriken zum Messen der Datenqualität von Testdaten 294
12.3.3 Metriken für das Testdatenmanagement 297
12.4 Zusammenfassung 299
13 Testdaten & Testdatenmanagement im Kontext
13.1 Testdaten und Fehlerkategorien als Hilfe zur Priorisierung der Testdatenbereitstellung 301
13.2 Testdaten im automatisierten Test 302
13.3 Testdaten beim Testen von Data-Warehouse- und Business-Intelligence-Systemen 303
13.3.1 Testumgebung 304
13.3.2 Gewinnen von Testdaten für den Test von Data-Warehouse- und Business-Intelligence-Systemen 305
13.3.3 Maßnahmen zum Schutz der echten Daten in den Testdaten 306
13.3.4 Vor- und Nachteile von Echtdaten als Testdaten 307
13.3.5 Weitere Quellen zum Ableiten von Testdaten 308
13.3.6 Besondere Gruppen von Daten 311
13.3.7 Überblick: Wie testet man Data-Warehouse- und Business- Intelligence-Systeme und was für Daten(bestände) benötigt man dafür? 311
13.3.8 Begriffe in Data-Warehouse- und Business-Intelligence- Systemen 318
13.4 Testdaten im Test von Embedded Systems 321
13.4.1 Besonderheiten beim Testen eingebetteter Systeme 321
13.4.2 Die Testdaten im Testen von Embedded Systems 323
13.4.3 Erfahrungsbericht: Testdaten im Test von Embedded Systems im Bereich Videotechnik 324
13.5 Testdaten in klassischen und in agilen Projekten 328
13.5.1 Klassisch 328
13.5.2 Agile, Scrum 328
13.6 Testdaten in Normen für Softwareentwicklung und/oder Softwaretest 330
13.6.1 Die neue Normenreihe ISO 29119 332
13.6.2 Welche Regelungen zu Testdaten und Testdatenmanagement finden sich in ISO-29119-Reihe? 332
13.6.3 Weitere relevante Normen: ISO/IEC 250xx 335
13.7 Testdaten in Bewertungsmodellen 336
13.8 Zusammenfassung 340
Teil III: Praxis 345
14 Vorgehen zum Verbessern eines Testdatenmanagements 347
14.1 Einsteigen in strukturiertes Testdatenmanagement 347
14.2 Etappe 1: Das Testdatenmanagement organisieren 354
14.2.1 Zentralen Testdatenmanagement-Verantwortlichen benennen und dessen Aufgabe definieren 356
14.2.2 Reife des Testprozesses prüfen & bei Bedarf verbessern
14.2.3 Bestandsaufnahme & Anforderungsanalyse durchführen: Testdatenmanagementprozess
14.2.4 Business Case für das Testdatenmanagement schreiben & entscheiden
14.2.5 Bei Bedarf: Übergang vom Testdatenmanagement- Verantwortlichen zum Testdatenmanager 366
14.2.6 Testdatenmanagement-Richtlinie erstellen (Testdatenmanagementstrategie) 367
14.2.7 Entscheiden: zentrales, dezentrales Testdatenmanagement oder Mischform? 371
14.2.8 Rollen definieren 372
14.2.9 Prozesse und Dokumentation definieren 376
14.2.10 Die Testdaten organisieren 383
14.2.11 Werkzeugeinsatz und Hardwareeinsatz prüfen und anpassen 384
14.2.12 Initiales Testdatenmanagementkonzept verfassen 387
14.2.13 Umsetzen des Testdatenmanagements in konkreten Testprojekten sowie Prüfen & Verbessern des Testdatenmanagements
14.3 Etappe 2: Die Testdaten organisieren – von der Analyse bis zur Archivierung 393
14.3.1 Bestandsaufnahme durchführen: Stand der aktuell in Gebrauch befindlichen Testdaten 394
14.3.2 Analyse: Testdatenanforderungen verstehen 394
14.3.3 Spezifizieren der Testdaten, Testdatenpakete (® Testdatenspezifikation) 397
14.3.4 Testdaten erstellen & bereitstellen
14.3.5 Daten nutzen, anpassen, archivieren 406
14.4 Zusammenfassung 408
15 Checklisten, Mustergliederungen, Fragenkataloge 411
15.1 Mustergliederung TDM-Business-Case 411
15.2 Checkliste zu Anforderungen an den TDM- Business-Case 412
15.3 Checkliste TDM-Richtlinie 413
15.4 Mustergliederung TDM-Konzept 413
15.5 Testdatenspezifikation 416
15.6 Checkliste Testdatenbereitstellungskonzept (nach TestSPICETM) 417
15.7 Checkliste zur Organisation der Testumgebung und der Testdaten 418
15.8 Checkliste Bestandsaufnahme zu Werkzeug- und Hardwareeinsatz 419
15.9 Fragenkatalog zur Bestandsaufnahme Testdatenmanagement 420
15.10 Fragenkatalog zur Bestandsaufnahme: Aktueller Testdatenbestand 421
15.11 Fragenkatalog für das Erheben von Anforderungen an Testdaten (initial) 422
15.12 Fragenkatalog zum Vervollständigen der Testdatenmenge 423
15.13 Empfehlungen zu Methoden und Techniken für das Ermitteln von Anforderungen an Testdaten 424
15.14 Relevante Informationen für die Auswahl der Testdaten 425
15.15 Checkliste zum Spezifizieren der Testdaten 425
15.16 Checkliste: Organisatorische Aspekte der Testdaten managen 426
15.17 Checkliste: Aktivitäten zum Bereitstellen der Testdaten 427
15.18 Empfehlungen zur Testdatengewinnung 427
15.19 Empfehlungen zur Testdatenverwaltung 428
Anhang 429
A Abkürzungen 431
B Glossar 433
C Literatur 439
Index 451
www.dpunkt.de 0