Smart Data statt Big Data

John W. Foreman ist leitender Datenwissenschaftler bei MailChimp.com, wo er für die Entwicklung von E-Mail-Analyse-Produkten verantwortlich ist. Zuvor hat er als Berater u. a. für Coca-Cola, Dell, das US-Verteidigungsministerium und das FBI gearbeitet.

Über den Autor 5

Einführung 13

1 Alles, was Sie jemals über Tabellenkalkulationen wissen wollen, sich aber nicht zu fragen getraut haben 23

1.1 Beispieldaten 24

1.2 Sich schnell mit der Steuerungstaste bewegen 25

1.3 Formeln und Daten schnell kopieren 26

1.4 Zellen formatieren 28

1.5 Inhalte einfügen 29

1.6 Diagramme hinzufügen 30

1.7 Die Menüs "Suchen" und "Ersetzen" 32

1.8 Formeln für das Auf nden und Entnehmen von Werten 32

1.9 SVERWEIS verwenden, um Daten zusammenzuführen 34

1.10 Filtern und sortieren 35

1.11 Pivot-Tabellen verwenden 39

1.12 Array-Formeln verwenden 42

1.13 Probleme mit dem Solver lösen 44

1.14 OpenSolver: Ich wünschte, wir würden ihn nicht benötigen. Dem ist aber nicht so 50

1.15 Zusammenfassung 51

2 Clusteranalyse Teil I: Die Kundenbasis mit k-Means aufteilen 53

2.1 Mädchen tanzen mit Mädchen, und Jungens kratzen sich am Kopf 55

2.2 Es wird ernst: k-Means-Clusterbildung bei Abonnenten eines E-Mail-Marketings 60

2.2.1 Joey Bag O' Donuts Weinhandel 60

2.2.2 Die Ausgangsdaten 61

2.2.3 Festlegen, was zu bewerten ist 62

2.2.4 Mit vier Clustern beginnen 65

2.2.5 Euklidischer Abstand: Abstandsmessung auf kürzestem Weg 67

2.2.6 Abstände und Clusterzuweisungen für jedermann 69

2.2.7 Clusterzentren bestimmen 71

2.2.8 Aus den Ergebnissen schlau werden 74

2.2.9 Die Top-Verkäufe je Cluster erhalten 75

2.2.10 Die Silhouette: Ein guter Weg, um es unterschiedliche k-Werte unter sich ausfechten zu lassen 79

2.2.11 Was halten Sie von fünf Clustern? 87

2.2.12 Eine Lösung für fünf Cluster 88

2.2.13 Die Top-Verkäufe der fünf Cluster erhalten 89

2.2.14 Die Silhouette für die 5-Means-Clusterbildung berechnen 92

2.3 K-Medians-Clusterbildung und asymmetrische Abstandsmessungen 93

2.3.1 Die k-Medians-Clusterbildung 94

2.3.2 Eine geeignetere Abstandsmetrik erhalten 94

2.3.3 Bringen Sie das alles in Excel unter 97

2.3.4 Die Top-Verkäufe der 5-Medians-Cluster 98

2.4 Zusammenfassung 102

3 Naives Bayes und wie unglaublich leicht es ist, ein Idiot zu sein 105

3.1 Wenn Sie ein Produkt "Mandrill" nennen, erhalten Sie Signale und Nebengeräusche 105

3.2 Die kürzeste Einführung in die Wahrscheinlichkeitsrechnung der Welt 108

3.2.1 Bedingte Wahrscheinlichkeiten summieren 108

3.2.2 Die Verbundwahrscheinlichkeit, die Kettenregel und die Unabhängigkeit 109

3.2.3 Was geschieht in einer abhängigen Situation? 110

3.2.4 Die Bayes-Regel 110

3.3 Die Bayes-Regel verwenden, um ein KI-Modell zu erstellen 111

3.3.1 Klassenwahrscheinlichkeiten auf hohem Niveau werden oft miteinander gleichgesetzt 113

3.3.2 Und noch ein paar Kleinigkeiten 114

3.4 Auf geht's mit Excel 116

3.4.1 Für die Sache irrelevante Interpunktion entfernen 117

3.4.2 An Leerzeichen auftrennen 118

3.4.3 Token zählen und Wahrscheinlichkeiten berechnen 122

3.4.4 Wir haben ein Modell! Nutzen wir es! 124

3.5 Zusammenfassung 130

4 Optimierungsmodellierung: Weil der "frisch gepresste" Orangensaft sich nicht selbst herstellt 133

4.1 Warum sollten Data Scientists wissen, was Optimierung bedeutet? 134

4.2 Mit einem einfachen Zielkon ikt geht es los 135

4.2.1 Das Problem als Polytop darstellen 136

4.2.2 Lösen durch Verschieben der Niveaumenge 139

4.2.3 Das Simplex-Verfahren: in den Ecken herumstöbern 140

4.2.4 Mit Excel arbeiten 141

4.2.5 Am Ende dieses Kapitels wartet ein Monster 152

4.3 Frisch vom Baum in Ihr Glas ... mit einem kurzen Boxenstopp furs Mischen 153

4.3.1 Sie verwenden für das Mischen ein Modell 154

4.3.2 Beginnen wir mit ein paar Spezi kationen 154

4.3.3 Zurück zum gleichbleibenden Geschmack 156

4.3.4 Die Daten in Excel eintragen 157

4.3.5 Das Problem in Solver eingeben 161

4.3.6 Die Standards herabsetzen 163

4.3.7 Ein totes Eichhörnchen loswerden: der Minimax-Ansatz 167

4.3.8 Wenn-Dann- und die Big-M-Bedingung 169

4.3.9 Variabl