Handbuch Data Science und KI (eBook)

Das Autor:innenteam besteht aus Datenexpert:innen aus der Wirtschaft und aus dem akademischen Umfeld. Das Spektrum reicht von strategisch ausgerichteten Führungskräften über Data Engineers, die Produktivsysteme erstellen, bis hin zu Data Scientists, die aus Daten Wert generieren. Alle Autor:innen sind im Vorstand oder Mitglieder der Vienna Data Science Group (VDSG). Diese NGO hat sich zum Ziel gesetzt, eine Plattform für den Wissensaustausch zu etablieren.

Inhalt 7
Geleitwort 17
Vorwort 21
1 Einführung 25
1.1 Was sind Data Science, Machine Learning und Künstliche Intelligenz? 26
1.2 Datenstrategie 33
1.3 Von der Strategie zu den Anwendungsfällen 35
1.3.1 Datenteams 35
1.3.2 Daten und Plattformen 42
1.3.3 Modellierung und Analyse 43
1.4 Implementierung von Anwendungsfällen 43
1.4.1 Iterative Erkundung von Anwendungsfällen 44
1.4.2 End-to-End-Datenverarbeitung 47
1.4.3 Datenprodukte 47
1.5 Beispiele für reale Anwendungsfälle 48
1.5.1 Digitalisierung der Wertschöpfungskette 48
1.5.2 Marketing-Segment-Analyse 49
1.5.3 360°-Sicht auf den Kunden 49
1.5.4 Anwendungsfälle für NGOs und Nachhaltigkeit 50
1.6 Ergebnisse liefern 51
1.7 Kurz und bündig 54
2 Infrastruktur 55
2.1 Einführung 55
2.2 Hardware 57
2.2.1 Verteilte Systeme 60
2.2.2 Hardware für KI-Anwendungen 63
2.3 Linux Essentials für Datenexperten 65
2.4 Terraform 83
2.5 Cloud 87
2.5.1 Basisdienste 90
2.5.2 Cloud-native Lösungen 94
2.6 Kurz und bündig 97
3 Datenarchitektur 99
3.1 Übersicht 99
3.1.1 Maslowsche Bedürfnishierarchie für Daten 100
3.1.2 Anforderungen an die Datenarchitektur 101
3.1.3 Die Struktur einer typischen Datenarchitektur 102
3.1.4 ETL (Extrahieren, Transformieren, Laden) 102
3.1.5 ELT (Extrahieren, Laden, Transformieren) 103
3.1.6 ETLT 104
3.2 Datenerfassung und -integration 104
3.2.1 Datenquellen 105
3.2.2 Traditionelle Dateiformate 106
3.2.3 Moderne Dateiformate 108
3.2.4 Zusammenfassung 110
3.3 Data Warehouses, Data Lakes und Lakehouses 111
3.3.1 Data Warehouses 111
3.3.2 Data Lakes und das Lakehouse 115
3.3.3 Zusammenfassung: Vergleich zwischen Data Warehouses und Lakehouses 117
3.4 Datenverarbeitung und -umwandlung 118
3.4.1 Big Data und Apache Spark 118
3.4.2 Databricks 125
3.5 Workflow-Orchestrierung 127
3.6 Ein Datenarchitektur-Use-Case 129
3.7 Kurz und bündig 134
4 Data Engineering 136
4.1 Integration von Daten 137
4.1.1 Daten-Pipelines 137
4.1.2 Entwerfen von Data Pipelines 144
4.1.3 CI/CD 147
4.1.4 Programmiersprachen 148
4.1.5 Kafka als Referenz-ETL-Werkzeug 151
4.1.6 Entwurfsmuster 156
4.1.7 Automatisierung der Stufen 157
4.1.8 Sechs Bausteine der Data Pipeline 158
4.2 Verwaltung analytischer Modelle 163
4.2.1 Modelllieferung 164
4.2.2 Modell-Update 165
4.2.3 Modell- oder Parameter-Update 166
4.2.4 Modellskalierung 167
4.3 Feedback in die operationalen Prozesse 167
4.4 Kurz und bündig 168
5 Datenmanagement 169
5.1 Datenmanagement 171
5.1.1 Datenkatalog 173
5.1.2 Data Discovery 175
5.1.3 Datenqualität 178
5.1.4 Verwaltung von Stammdaten 180
5.1.5 Gemeinsame Nutzung von Daten 181
5.2 Informationssicherheit 182
5.2.1 Datenklassifizierung 183
5.2.2 Schutz der Privatsphäre 185
5.2.3 Verschlüsselung 187
5.2.4 Secrets Management 189
5.2.5 Defense in Depth 190
5.3 Kurz und bündig 191
6 Mathematik 192
6.1 Lineare Algebra 193
6.1.1 Vektoren und Matrizen 193
6.1.2 Operationen zwischen Vektoren und Matrizen 197
6.1.3 Lineare Transformationen 199
6.1.4 Eigenwerte, Eigenvektoren und Eigendekomposition 200
6.1.5 Andere Matrixzerlegungen 202
6.2 Kalkulus und Optimierung 204
6.2.1 Ableitung 204
6.2.2 Gradient und Hessian 206
6.2.3 Gradientenabstieg 208
6.2.4 Eingeschränkte Optimierung 210
6.3 Wahrscheinlichkeitsrechnung 211
6.3.1 Diskrete und kontinuierliche Zufallsvariablen 212
6.3.2 Erwartungswert, Varianz und Kovarianz 216
6.3.3 Unabhängigkeit, bedingte Verteilungen und Bayes-Theorem 217
6.4 Kurz und bündig 219
7 Statistik – Grundlagen 220
7.1 Daten 221
7.2 Einfache lineare Regression 222
7.3 Multiple lineare Regression 230
7.4 Logistische Regression 233
7.5 Wie gut ist unser Modell? 241
7.6 Kurz und bündig 242
8 Maschinelles Lernen 244
8.1 Einführung 244
8.2 Grundlegendes: Feature Spaces 246
8.3 Klassifizierungsmodelle 250
8.3.1 K-Nearest-Neighbor-Klassifikator 250
8.3.2 Support Vector Machine 251
8.3.3 Entscheidungsbaum 252
8.4 Ensemble-Methoden 254
8.4.1 Bias und Varianz 254
8.4.2 Bagging: Random Forests 256
8.4.3 Boosten: AdaBoost 259
8.5 Künstliche neuronale Netze und das Perceptron 260
8.6 Lernen ohne Label – Struktur finden 263
8.6.1 Clustering 263
8.6.2 Lernen von Mannigfaltigkeiten 264
8.6.3 Generative Modelle 265
8.7 Reinforcement Learning 266
8.8 Übergreifende Konzepte 269
8.9 In die Tiefe gehen ? Deep Learning 270
8.9.1 Convolutional Neural Networks 270
8.9.2 Training von Convolutional Neural Networks 272
8.9.3 Recurrent Neural Networks 274
8.9.4 Long Short-Term Memory 275
8.9.5 Autoencoder und U-Netze 277
8.9.6 Adversarial-Trainingsansätze 278
8.9.7 Generative Adversarial Networks 279
8.9.8 Cycle GANs und Style GANs 281
8.9.9 Andere Architekturen und Lernstrategien 282
8.10 Validierungsstrategien für maschinelle Lerntechniken 283
8.11 Schlussfolgerung 284
8.12 Kurz und bündig 285
9 Großartige künstliche Intelligenz erschaffen 286
9.1 Wie KI mit Data Science und maschinellem Lernen zusammenhängt 286
9.2 Eine kurze Geschichte der KI 290
9.3 Fünf Empfehlungen für die Entwicklung einer KI-Lösung 292
9.3.1 Empfehlung Nr. 1: Seien Sie pragmatisch 292
9.3.2 Empfehlung Nr. 2: Erleichtern Sie Maschinen das Lernen – schaffen Sie induktive Verzerrungen 295
9.3.3 Empfehlung Nr. 3: Analysen durchführen 301
9.3.4 Empfehlung Nr. 4: Hüten Sie sich vor der Skalierungsfalle 303
9.3.5 Empfehlung Nr. 5: Hüten Sie sich vor der Verallgemeinerungsfalle (so etwas wie ein kostenloses Mittagessen gibt es nicht) 313
9.4 Intelligenz auf menschlicher Ebene 318
9.5 Kurz und bündig 321
10 Natural Language Processing (NLP) 323
10.1 Was ist NLP, und warum ist es so wertvoll? 323
10.2 NLP-Datenaufbereitungstechniken 325
10.2.1 Die NLP-Pipeline 325
10.2.2 Konvertierung des Eingabeformats für maschinelles Lernen 332
10.3 NLP-Aufgaben und -Methoden 334
10.3.1 Regelbasiert (symbolisch) NLP 335
10.3.2 Ansätze des statistischen maschinellen Lernens 338
10.3.3 Neuronales NLP 347
10.3.4 Transferlernen 353
10.4 Auf dem neuesten Stand: Aktuelle Forschungsschwerpunkte für NLP 366
10.5 Kurz und bündig 369
11 Computer Vision 372
11.1 Was ist Computer Vision? 372
11.2 Ein Bild sagt mehr als tausend Worte 374
11.2.1 Das menschliche Auge 374
11.2.2 Das Bildaufnahmeprinzip 376
11.2.3 Digitale Dateiformate 381
11.2.4 Bildkomprimierung 383
11.3 Ich sehe was, was du nicht siehst . . . 384
11.3.1 Computergestützte Fotografie und Bildmanipulation 387
11.4 Computer-Vision-Anwendungen und zukünftige Richtungen 390
11.4.1 Image-Retrieval-Systeme 391
11.4.2 Objekterkennung, Klassifizierung und Verfolgung 393
11.4.3 Medizinische Computer Vision 395
11.5 Menschen sehen lassen 399
11.6 Kurz und bündig 401
12 Modellierung und Simulation – Erstellen Sie Ihre eigenen Modelle 403
12.1 Einführung 404
12.2 Allgemeine Aspekte 405
12.3 Modellierung zur Beantwortung von Fragen 406
12.4 Reproduzierbarkeit und Lebenszyklus des Modells 408
12.4.1 Der Lebenszyklus einer Modellierungs- und Simulationsfrage 410
12.4.2 Parameter- und Output-Definition 411
12.4.3 Dokumentation 414
12.4.4 Verifizierung und Validierung 415
12.5 Methoden 419
12.5.1 Gewöhnliche Differentialgleichungen (ODEs) 420
12.5.2 Systemdynamik (SD) 421
12.5.3 Diskrete Ereignissimulation 424
12.5.4 Agentenbasierte Modellierung 427
12.6 Beispiele für Modellierung und Simulation 430
12.6.1 Dynamische Modellierung von Eisenbahnnetzen zur optimalen Wegfindung mit agentenbasierten Methoden und Reinforcement Learning 430
12.6.2 Strategien zur agentenbasierten Covid-Modellierung 433
12.6.3 Deep-Reinforcement-Learning-Ansatz für eine optimale Nachschubpolitik in einer VMI-Umgebung 438
12.7 Zusammenfassung und Lessons Learned 441
12.8 Kurz und bündig 442
13 Visualisierung von Daten 446
13.1 Geschichte 447
13.2 Welche Tools Sie verwenden sollten 453
13.3 Arten von Datenvisualisierungen 455
13.3.1 Streudiagramm 456
13.3.2 Liniendiagramm 456
13.3.3 Säulen- und Balkendiagramme 457
13.3.4 Histogramm 458
13.3.5 Tortendiagramm 459
13.3.6 Box Plot 460
13.3.7 Heat Map 460
13.3.8 Baumdiagramm 461
13.3.9 Andere Arten von Visualisierungen 462
13.4 Wählen Sie die richtige Datenvisualisierung 462
13.5 Tipps und Tricks 465
13.6 Präsentation der Datenvisualisierung 470
13.7 Kurz und bündig 471
14 Datengetriebene Unternehmen 473
14.1 Die drei Ebenen eines datengesteuerten Unternehmens 474
14.2 Kultur 474
14.2.1 Unternehmensstrategie für Daten 475
14.2.2 Die Analyse des aktuellen Stands 477
14.2.3 Unternehmenskultur und Organisation einer erfolgreichen Datenorganisation 479
14.2.4 Kernproblem: der Fachkräftemangel 487
14.3 Technologie 489
14.3.1 Die Auswirkungen von Open Source 489
14.3.2 Cloud 490
14.3.3 Auswahl des Anbieters 490
14.3.4 Data Lake aus der Unternehmensperspektive 491
14.3.5 Die Rolle der IT 492
14.3.6 Data Science Labs 492
14.3.7 Revolution in der Architektur: das Data Mesh 493
14.4 Business 494
14.4.1 Daten kaufen und teilen 494
14.4.2 Implementierung des analytischen Anwendungsfalls 496
14.4.3 Self-Service Analytics 496
14.5 Kurz und bündig 497
15 Rechtliche Grundlagen 498
15.1 Einführung 498
15.2 Rechtliche Datenkategorien 499
15.3 Datenschutzgrundverordnung 500
15.3.1 Grundsätze der Datenschutzgrundverordnung 501
15.3.2 Einwilligungserklärung 502
15.3.3 Risikofolgeabschätzung 504
15.3.4 Anonymisierung und Pseudo-Anonymisierung 505
15.3.5 Arten der Anonymisierung 505
15.3.6 Rechtmäßigkeit, Transparenz und Verarbeitung 508
15.3.7 Recht auf Datenlöschung und Korrektur 509
15.3.8 Privacy by Design 510
15.3.9 Privacy by Default 510
15.4 ePrivacy-Verordnung 511
15.5 Datenschutzbeauftragter 511
15.5.1 Internationaler Datenexport in Drittländern 512
15.6 Sicherheitsmaßnahmen 512
15.6.1 Datensicherheit 513
15.7 Datenschutz in Kalifornien im Vergleich zur DSGVO 513
15.7.1 Territoriale Gültigkeit 514
15.7.2 Opt-in versus Opt-out 514
15.7.3 Recht auf Datenexport 515
15.7.4 Das Recht, nicht diskriminiert zu werden 515
15.8 Kurz und bündig 516
15.9 Weiterführende Literatur 517
16 AI in verschiedenen Branchen 518
16.1 Automobilindustrie 522
16.1.1 Vision 523
16.1.2 Daten 523
16.1.3 Anwendungsfälle 524
16.1.4 Herausforderungen 525
16.2 Luftfahrt 526
16.2.1 Vision 527
16.2.2 Daten 528
16.2.3 Anwendungsfälle 528
16.2.4 Herausforderungen 529
16.3 Energie 530
16.3.1 Vision 530
16.3.2 Daten 531
16.3.3 Anwendungsfälle 531
16.3.4 Herausforderungen 532
16.4 Finanzen 533
16.4.1 Vision 533
16.4.2 Daten 533
16.4.3 Anwendungsfälle 534
16.4.4 Herausforderungen 536
16.5 Gesundheit 536
16.5.1 Vision 537
16.5.2 Daten 538
16.5.3 Anwendungsfälle 538
16.5.4 Herausforderungen 539
16.6 Regierung 539
16.6.1 Vision 539
16.6.2 Daten 540
16.6.3 Anwendungsfälle 540
16.6.4 Herausforderungen 544
16.7 Kunst 544
16.7.1 Vision 545
16.7.2 Daten 545
16.7.3 Anwendungsfälle 546
16.7.4 Herausforderungen 546
16.8 Produktion 547
16.8.1 Vision 547
16.8.2 Daten 547
16.8.3 Anwendungsfälle 548
16.8.4 Herausforderungen 549
16.9 Öl und Gas 549
16.9.1 Vision 550
16.9.2 Daten 550
16.9.3 Anwendungsfälle 551
16.9.4 Herausforderungen 552
16.10 Sicherheit am Arbeitsplatz 553
16.10.1 Vision 553
16.10.2 Daten 554
16.10.3 Anwendungsfälle 554
16.10.4 Herausforderungen 555
16.11 Einzelhandel 556
16.11.1 Vision 556
16.11.2 Daten 557
16.11.3 Anwendungsfälle 557
16.11.4 Herausforderungen 558
16.12 Anbieter von Telekommunikation 558
16.12.1 Vision 559
16.12.2 Daten 559
16.12.3 Anwendungsfälle 559
16.12.4 Herausforderungen 561
16.13 Transport 562
16.13.1 Vision 562
16.13.2 Daten 563
16.13.3 Anwendungsfälle 563
16.13.4 Herausforderungen 563
16.14 Lehre und Ausbildung 564
16.14.1 Vision 564
16.14.2 Daten 565
16.14.3 Anwendungsfälle 566
16.14.4 Herausforderungen 566
16.15 Die digitale Gesellschaft 567
16.16 Kurz und bündig 569
17 Mindset und Community 570
17.1 Data Driven Mindset 570
17.2 Data-Science-Kultur 573
17.2.1 Start-up oder Beratungsunternehmen? 573
17.2.2 Labs statt Konzernpolitik 574
17.2.3 Keiretsu statt Einzelkämpfertum 575
17.2.4 Agile Softwareentwicklung 576
17.2.5 Firmen- und Arbeitskultur 577
17.3 Antipatterns 580
17.3.1 Abwertung von Fachwissen 580
17.3.2 Die IT wird es schon richten 581
17.3.3 Widerstand gegen Veränderungen 582
17.3.4 Besserwisser-Mentalität 582
17.3.5 Schwarzmalerei 583
17.3.6 Pfennigfuchserei 584
17.3.7 Angstkultur 584
17.3.8 Kontrolle über die Ressourcen 585
17.3.9 Blindes Vertrauen in die Ressourcen 585
17.3.10 Das Schweizer Taschenmesser 586
17.3.11 Over-Engineering 587
17.4 Kurz und bündig 588
18 Vertrauenswürdige KI 589
18.1 Rechtlicher und Soft-Law-Rahmen 590
18.1.1 Normen 592
18.1.2 Verordnungen 593
18.2 KI-Stakeholder 595
18.3 Fairness in der KI 596
18.3.1 Bias 597
18.3.2 Fairness-Metriken 600
18.3.3 Unerwünschten Bias in KI-Systemen reduzieren 604
18.4 Transparenz von KI-Systemen 605
18.4.1 Dokumentieren der Daten 606
18.4.2 Dokumentieren des Modells 608
18.4.3 Explainability (Erklärbarkeit) 609
18.5 Schlussfolgerung 611
18.6 Kurz und bündig 611
19 Die Autor:innen 612
Index 617