Steuerung eines autonomen Fahrzeugs durch Deep Reinforcement Learning (eBook)

Inhaltsverzeichnis 6
Abbildungsverzeichnis 8
Tabellenverzeichnis 10
Kurzzusammenfassung 11
Abstract 12
1 Einführung 14
2 Grundlagen des Deep Learning 16
2.1 Künstliche Neuronale Netze 16
2.1.1 Definition und Approximationseigenschaft Neuronaler Netze 17
2.1.2 Faltungsbasierte Netze 19
2.1.3 Lokale Translationsinvarianz 21
2.2 Training Neuronaler Netze 21
2.2.1 Stochastische Parameteroptimierung 22
2.2.2 Backpropagation 24
3 Deep Reinforcement Learning 27
3.1 Charakteristiken des Reinforcement Learning 28
3.1.1 Annahmen an die Umwelt 29
3.1.2 Beschreibung des Agenten 30
3.2 Lernverfahren 33
3.2.1 Actor-Critic-Methoden 33
3.2.2 Verallgemeinerte Approximation der Advantage 34
3.2.3 Monotone Policy Verbesserung 36
3.2.4 Proximal-Policy-Optimierung 40
4 Deep Controller für autonomes Fahren 44
4.1 Problemstellung 44
4.2 Regelungsverfahren 46
4.2.1 Modellbasierte Ansätze 46
4.2.2 Deep Controller 47
4.3 Umsetzung 48
4.3.1 Die Fahrzeugbewegung als Einspurmodell 48
4.3.2 Simulierte Regelung auf einem Parkplatz 50
4.3.3 Definition des Agenten 52
4.3.4 Definition der Belohnungsfunktion 54
5 Training und Auswertung 58
5.1 Auswertung des Trainings 58
5.1.1 Verlauf des Trainings für verschiedene Probleme 59
5.1.2 Variation von Hyperparametern des Lernverfahrens 61
5.2 Evaluierung in der Simulation 62
5.2.1 Numerische Stabilitätsanalyse der Koordinaten 64
5.2.2 Numerische Stabilitätsanalyse der Wahrnehmungskarte 66
5.2.3 Aufmerksamkeit in der Wahrnehmungskarte 68
5.2.4 Leistungsfähigkeit von trainierten Agenten 69
5.3 Evaluierung mit einem Testfahrzeug 72
5.3.1 Der Deep Controller im Projekt AO-Car 73
5.3.2 Der Versuchsparkplatz 74
5.3.3 Analyse der Umsetzung 75
6 Resümee 81
6.1 Zusammenfassung 81
6.2 Diskussion 83
Literaturverzeichnis 86
A Verwendete Hyperparameter 95