Deep Learning mit Microsoft Azure

Dr. Mathew Salvaris ist Senior Data Scientist bei Microsoft im Azure CAT, wo er in einem Team aus Datenwissenschaftlern und Ingenieuren arbeitet, das auf der Cloud-KI-Plattform von Microsoft Machine-Learning- und KI-Lösungen für externe Unternehmen entwickelt. Er macht sich die neuesten Innovationen im Bereich Machine Learning und Deep Learning zunutze, um neuartige Lösungen für reale Geschäftsprobleme zu liefern, und er lässt die Erfahrungen aus dieser Arbeit einfließen, um die Cloud-KI-Produkte von Microsoft zu verbessern. Bevor er zu Microsoft kam, arbeitete er als Datenwissenschaftler für ein Startup-Unternehmen im Bereich Finanztechnologie, in dem er auf die Bereitstellung von Machine-Learning-Lösungen spezialisiert war. Zuvor war er promovierter wissenschaftlicher Mitarbeiter am University College London im Institute of Cognitive Neuroscience. Dort untersuchte er Willensäußerungen mithilfe von Machine-Learning-Methoden und Elektroenzephalografie. Davor wiederum beschäftigte er sich als promovierter wissenschaftlicher Mitarbeiter an der University of Essex mit Gehirn-Computer-Schnittstellen. Mathew Salvaris hat einen Master of Science und einen Doktortitel in Informatik.

Dr. Danielle Dean ist Principal Data Science Lead bei Microsoft im Azure CAT, wo sie ein Team aus Datenwissenschaftlern und Ingenieuren leitet, das auf der Cloud-KI-Plattform von Microsoft zusammen mit externen Unternehmen Lösungen für künstliche Intelligenz entwickelt. Zuvor war sie als Datenwissenschaftlerin bei Nokia tätig. Dort gewann sie mit Data Mining und statistischer Modellierung von datengesteuerten Projekten Erkenntnisse aus Big Data, die wirtschaftlichen Nutzen für eine große Bandbreite von Unternehmen, Produkten und Initiativen brachten. Sie erwarb ihren Doktortitel in quantitativer Psychologie an der University of North Carolina at Chapel Hill, wo sie die Anwendung von Mehrebenenmodellen von Ereignisverläufen untersuchte, um die Zeitabläufe und Prozesse zu verstehen, die zu Ereignissen zwischen Dyaden in sozialen Netzwerken führen.

Dr. Wee Hyong Tok ist Principal Data Science Manager bei Microsoft im Bereich Cloud und KI. Er leitet das Team „AI for Earth Engineering and Data Science“ mit Datenwissenschaftlern und Ingenieuren, die daran arbeiten, die Grenzen moderner Deep-Learning-Algorithmen und -Systeme zu erweitern. Sein Team arbeitet umfassend mit Deep-Learning-Frameworks, von TensorFlow über CNTK und Keras bis hin zu PyTorch. Er war bereits in vielen Funktionen tätig: als Entwickler, Programm- und Produktmanager, Datenwissenschaftler, Forscher und Stratege. Im Laufe seiner Karriere war er immer wieder ein zuverlässiger Berater für Führungskräfte in verschiedensten Firmen – von Fortune-500-Unternehmen bis hin zu Startups. Er ist Mitautor eines der ersten Bücher über Azure Machine Learning: Predictive Analytics Using Azure Machine Learning. In einem anderen Buch veranschaulicht er, wie Datenbankexperten KI-Lösungen mit Datenbanken aufbauen können: Doing Data Science with SQL Server. Er erwarb seinen Doktortitel in Informatik an der National University of Singapore, wo er progressive Joinalgorithmen für Datenstreamingsysteme untersuchte.

Materialien zum Buch ... 11

Über die Autoren ... 13

Vorwort ... 17

Einleitung ... 21

TEIL I Ihr Einstieg in die künstliche Intelligenz ... 25

1. Einführung in die künstliche Intelligenz ... 27

1.1 ... Microsoft und KI ... 29

1.2 ... Machine Learning ... 32

1.3 ... Deep Learning ... 36

1.4 ... Zusammenfassung ... 46

2. Überblick über Deep Learning ... 47

2.1 ... Allgemeine Netzwerkstrukturen ... 48

2.2 ... Der Deep-Learning-Workflow ... 55

2.3 ... Zusammenfassung ... 67

3. Trends im Deep Learning ... 69

3.1 ... Variationen in Netzwerkarchitekturen ... 69

3.2 ... Hardware ... 78

3.3 ... Grenzen des Deep Learnings ... 81

3.4 ... Ein Blick in die Zukunft: Was können wir von Deep Learning erwarten? ... 85

3.5 ... Zusammenfassung ... 88

TEIL II Die Azure KI-Plattform und Ihr Werkzeugkasten ... 89

4. Microsoft-KI-Plattform ... 91

4.1 ... Dienste ... 93

4.2 ... Infrastruktur ... 97

4.3 ... Tools ... 102

4.4 ... Gesamte Azure-Plattform ... 104

4.5 ... Erste Schritte mit der Deep Learning Virtual Machine ... 105

4.6 ... Zusammenfassung ... 107

5. Cognitive Services und Custom Vision ... 109

5.1 ... Vorkonfigurierte KI: Anlass und Vorgehensweise ... 109

5.2 ... Cognitive Services nutzen ... 111

5.3 ... Verfügbare Arten von Cognitive Services ... 114

5.4 ... Erste Schritte mit Cognitive Services ... 121

5.5 ... Custom Vision ... 127

5.6 ... Zusammenfassung ... 134

TEIL III KI-Netzwerke in der Praxis ... 137

6. Convolutional Neural Networks ... 139

6.1 ... Die Faltung in Convolutional Neural Networks ... 140

6.2 ... CNN-Architektur ... 146

6.3 ... Trainieren eines Klassifizierungs-CNN ... 146

6.4 ... Gründe für die Verwendung von CNNs ... 148

6.5 ... Trainieren eines CNN mit CIFAR-10 ... 149

6.6 ... Training eines tiefen CNN auf einer GPU ... 154

6.7 ... Transferlernen ... 161

6.8 ... Zusammenfassung ... 162

7. Recurrent Neural Networks ... 163

7.1 ... RNN-Architekturen ... 166

7.2 ... Trainieren von RNNs ... 169

7.3 ... Gated RNNs ... 170

7.4 ... Sequenz-zu-Sequenz-Modelle und Aufmerksamkeitsmechanismus ... 172

7.5 ... RNN-Beispiele ... 174

7.6 ... Zusammenfassung ... 181

8. Generative Adversarial Networks ... 183

8.1 ... Was sind Generative Adversarial Networks? ... 183

8.2 ... Cycle-Consistent Adversarial Networks ... 188

8.3 ... Der CycleGAN-Code ... 190

8.4 ... Netzwerkarchitektur für den Generator und den Diskriminator ... 193

8.5 ... Definieren der CycleGAN-Klasse ... 197

8.6 ... Verlust durch Unterschiede und Zyklusverlust ... 198

8.7 ... Ergebnisse ... 199

8.8 ... Zusammenfassung ... 199

TEIL IV KI-Architekturen und Best Practices ... 201

9. Trainieren von KI-Modellen ... 203

9.1 ... Trainingsoptionen ... 203

9.2 ... Beispiele zur Veranschaulichung ... 209

9.3 ... Zusammenfassung ... 227

10. Operationalisieren von KI-Modellen ... 229

10.1 ... Plattformen für die Operationalisierung ... 229

10.2 ... Übersicht über die Operationalisierung ... 239

10.3 ... Azure Machine Learning Services ... 242

10.4 ... Zusammenfassung ... 242

Anmerkungen ... 245

Index ... 257