Neuronale Netze (eBook)

Inhaltsverzeichnis und Vorworte 7
1 Grundlagen 16
1.1 Übersicht und Lernziele 16
1.2 Einleitung 16
1.3 Units und ihre Verbindungen 17
1.4 Funktionsweise von Units 19
1.4.1 Input und Netzinput 20
1.4.2 Aktivitätsfunktion 21
1.4.3 Output 27
1.5 Bias-Units 28
1.6 Trainings- und Testphase 29
1.7 Matrizendarstellung 30
1.8 Zusammenfassung 32
1.9 Übungsaufgaben 34
2 Lernregeln 36
2.1 Übersicht und Lernziele 36
2.2 Einleitung 36
2.3 Hebb-Regel 39
2.4 Delta-Regel 40
2.5 Gradientenabstiegsverfahren 42
2.5.1 Lösungsansatz 43
2.5.2 Probleme des Verfahrens 46
2.5.3 Lösungsansätze 48
2.6 Backpropagation 53
2.6.1 Einleitung 53
2.6.2 Problemstellung und Algorithmus 54
2.7 Competitive Learning 57
2.8 Zusammenfassung 58
2.9 Übungsaufgaben 59
3 Netztypen 61
3.1 Übersicht und Lernziele 61
3.2 Einleitung 61
3.3 Pattern Associator 63
3.3.1 Beispielberechnung 64
3.3.2 Eigenschaften 66
3.4 Rekurrente Netze 66
3.4.1 Simple Recurrent Networks 68
3.4.2 Jordan-Netze, Elman-Netze und Autoassociator 70
3.4.3 Attraktorennetze 71
3.4.4 Anwendungen 74
3.5 Kompetitive Netze 74
3.6 Kohonennetze 78
3.6.1 Berechnung 79
3.6.2 Wichtige Parameter 83
3.6.3 Anwendungen 87
3.7 Constraint-Satisfaction-Netze 89
3.7.1 Beispiel eines Constraint-Satisfaction-Netzes: Jets und Sharks 92
3.8 Zusammenfassung 93
3.9 Übungsaufgaben 94
4 Eigenschaften 96
4.1 Übersicht und Lernziele 96
4.2 Eigenschaften neuronaler Netze 96
4.3 Probleme neuronaler Netze 99
4.4 Zusammenfassung 101
4.5 Übungsaufgaben 103
5 Anwendungen 104
5.1 Übersicht und Lernziele 104
5.2 Einleitung 104
5.3 Farbkonstanz 105
5.3.1 Ausgangssituation 105
5.3.2 Netzaufbau 107
5.3.3 Ergebnisse und Fazit 110
5.4 Routinetätigkeiten 111
5.4.1 Ausgangssituation 111
5.4.2 Netzaufbau 114
5.4.3 Ergebnisse und Fazit 115
5.5 Autismus 118
5.5.1 Ausgangssituation 118
5.5.2 Netzaufbau 121
5.5.3 Ergebnisse und Fazit 123
5.6 Serielles Lernen 126
5.6.1 Ausgangssituation 126
5.6.2 Netzaufbau 127
5.6.3 Ergebnisse und Fazit 130
5.7 Spielkarten sortieren 132
5.7.1 Ausgangssituation 132
5.7.2 Netzaufbau 134
5.7.3 Ergebnisse und Fazit 135
5.8 Zahlenrepräsentation 136
5.8.1 Ausgangssituation 136
5.8.2 Netzaufbau 139
5.8.3 Ergebnisse und Fazit 140
5.9 Übungsaufgaben 142
6 Datenauswertung 143
6.1 Übersicht und Lernziele 143
6.2 Einleitung 143
6.3 Visual-XSel 146
6.3.1 Datensatz einfu?gen und Dialogbox auswählen 147
6.3.2 Variablen auswählen 148
6.3.3 Modellparameter festlegen 151
6.3.4 Korrelationen der Datenanalyse u?berpru?fen 153
6.3.5 Modellgewichte berechnen lassen 155
6.3.6 Kennwerte der Datenauswertung interpretieren 158
6.3.7 Weitere Einstellungen 160
6.3.8 Ergebnisse der Datenauswertung graphisch darstellen 162
6.4 MemBrain 166
6.4.1 Units einfu?gen 167
6.4.2 Verbindungen erstellen 171
6.4.3 Datensatz erstellen oder einfu?gen 173
6.4.4 Lernregel auswählen 176
6.4.5 Gewichte initialisieren und trainieren 179
6.4.6 Trainiertes Netz u?berpru?fen 181
6.5 SPSS 184
6.5.1 Datensatz einfu?gen und Neuronale-Netze-Dialogbox auswählen 184
6.5.2 Variablen auswählen und Partitions-Datenblatt ausfu?llen 185
6.5.3 Netzwerkarchitektur und Trainingsoptionen festlegen 187
6.5.4 Ausgabeeinstellungen vornehmen und Vorhersagen speichern 189
6.5.5 Export und weitere Optionen vornehmen 191
6.6 Übungsaufgaben 192
Literaturverzeichnis 194
Sachverzeichnis und Die Autoren 200

3 Netztypen

3.1 Übersicht und Lernziele

Das dritte Kapitel stellt ausgewählte Netztypen vor und erörtert deren Funktionsweisen und Anwendungsmöglichkeiten. Gemeinsamkeiten und Unterschiede der einzelnen Netztypen sowie deren Vor- und Nachteile werden diskutiert. Folgende Lernziele sind Bestandteil dieses Kapitels:

- Nach welchen Gesichtspunkten kann man neuronale Netze klassifizieren?
- Welche verschiedenen Netztypen gibt es?
- Worin unterscheiden sich diese?
- Durch welche zentralen Eigenschaften kann man die einzelnen Netztypen charakterisieren?

3.2 Einleitung

Wie bereits im ersten Kapitel erwähnt gibt es nicht das neuronale Netz, sondern der Oberbegriff umfasst diverse Arten von z. T. sehr heterogenen Netztypen. Welcher Netztyp zum Einsatz gelangen sollte, ist von der spezifischen Problemstellung abhängig. Oftmals ist dabei simples Ausprobieren erforderlich, aber auch Genetische Algorithmen (siehe Exkurs: Genetische bzw. Evolutionäre Algorithmen) sowie die Erfahrung des „Netzwerkarchitekten“ können herangezogen werden, um den geeigneten Netztyp mit den entsprechenden Parametern auszuwählen.

Neuronale Netze lassen sich nach unterschiedlichen Gesichtspunkten klassifizieren. Eine Möglichkeit zur Unterteilung bieten die Lernregeln, die diese Netze verwenden. Dabei ist zumeist keine klare Zuordnung zwischen Netztyp und Lernregel möglich, da einige Netztypen auf dieselbe Lernregel zurückgreifen, während andere sich mit verschiedenen Lernregeln realisieren lassen. Andere Klassifikationsmöglichkeiten betreffen folgende Aspekte:

- Existenz von Hidden-Units (vorhanden vs. nicht vorhanden) - Art der Trainingsphase (supervised, unsupervised oder reinforcement learning)
- Existenz von Rückkopplungen (rekurrente Verbindungen von Neuronen zu anderen Einheiten derselben oder einer vorangegangenen Schicht)
- Einsatzgebiet des Netzes (z. B. Vorhersage, Klassifikation, dem Erkennen von Mustern, der assoziativen Speicherung von Informationen, der Optimierung usw.)

Jedoch führen auch diese Aspekte zumeist nicht zu einer klaren Zuordnung zu verschiedenen Netztypen. Auf den kommenden Seiten werden von den unzähligen Netztypen und deren Varianten folgende vorgestellt:
- Pattern Associator
- Rekurrente Netze
- Kompetitive Netze
- Kohonennetze
- Constraint-Satisfaction-Netze