Multimodal Computational Attention for Scene Understanding and Robotics (eBook)
XXIV, 203 Seiten
Springer International Publishing (Verlag)
978-3-319-33796-8 (ISBN)
This book presents state-of-the-art computational attention models that have been successfully tested in diverse application areas and can build the foundation for artificial systems to efficiently explore, analyze, and understand natural scenes. It gives a comprehensive overview of the most recent computational attention models for processing visual and acoustic input. It covers the biological background of visual and auditory attention, as well as bottom-up and top-down attentional mechanisms and discusses various applications. In the first part new approaches for bottom-up visual and acoustic saliency models are presented and applied to the task of audio-visual scene exploration of a robot. In the second part the influence of top-down cues for attention modeling is investigated.
Foreword 6
Contents 8
About the Author 10
Abbreviations 10
List of Figures 13
List of Tables 20
Abstract 22
1.1 Contributions 27
1.2 Outline 29
References 30
2 Background 31
2.1 Attention Models 31
2.1.1 Visual Attention 32
2.1.2 Auditory Attention 38
2.1.3 Multimodal Attention 43
2.2 Applications of Attention Models 44
2.2.1 Image Processing and Computer Vision 45
2.2.2 Audio Processing 46
2.2.3 Robotics 46
2.2.4 Computer Graphics 47
2.2.5 Design, Marketing, and Advertisement 48
References 49
3 Bottom-Up Audio-Visual Attention for Scene Exploration 56
3.1 Related Work and Contributions 58
3.1.1 Spectral Visual Saliency 58
3.1.2 Visual Saliency and Color Spaces 60
3.1.3 Visual Saliency and Faces 61
3.1.4 Auditory Saliency 62
3.1.5 Audio-Visual Saliency-Based Exploration 62
3.1.6 Scene Analysis 64
3.2 Visual Attention 65
3.2.1 Spectral Visual Saliency 67
3.2.2 Color Space Decorrelation 84
3.2.3 Modeling the Influence of Faces 95
3.3 Auditory Attention 102
3.3.1 Auditory Novelty Detection 102
3.3.2 Evaluation 106
3.4 Saliency-Based Audio-Visual Exploration 108
3.4.1 Gaussian Proto-Object Model 109
3.4.2 Auditory Proto-Objects 109
3.4.3 Visual Proto-Objects 110
3.4.4 Audio-Visual Fusion and Inhibition 113
3.4.5 Evaluation 115
3.5 Multiobjective Exploration Path 119
3.5.1 Exploration Path 120
3.5.2 Exploration Strategies 120
3.5.3 Evaluation 122
3.6 Summary and Future Directions 126
References 128
4.1 Related Work and Contributions 137
4.1.1 Joint Attention 137
4.1.2 Visual Attention 140
4.2 Debiased Salient Object Detection 144
4.2.1 The MSRA Dataset 145
4.2.2 MSRA's Photographer Bias 146
4.2.3 Salient Object Detection 149
4.2.4 Debiased Salient Object Detection and Pointing 153
4.3 Focusing Computational Attention in Human-Robot Interaction 154
4.3.1 Pointing Gestures 156
4.3.2 Language 165
4.4 Gaze Following in Web Images 179
4.4.1 Approach 180
4.4.2 The Gaze@Flickr Dataset 181
4.4.3 Evaluation 183
4.5 Summary and Future Directions 188
References 190
5 Conclusion 196
5.1 Summary 196
5.2 Future Work 198
Appendix A Applications 200
Appendix B Dataset Overview 206
Appendix C Color Space Decorrelation: Full Evaluation 209
Appendix D Center Bias Integration Methods 216
| Erscheint lt. Verlag | 11.5.2016 |
|---|---|
| Reihe/Serie | Cognitive Systems Monographs | Cognitive Systems Monographs |
| Zusatzinfo | XXIV, 203 p. 55 illus., 51 illus. in color. |
| Verlagsort | Cham |
| Sprache | englisch |
| Themenwelt | Mathematik / Informatik ► Informatik ► Grafik / Design |
| Informatik ► Theorie / Studium ► Künstliche Intelligenz / Robotik | |
| Technik ► Maschinenbau | |
| Schlagworte | Cognitive Systems • Computer Vision Recognition • Computer Vision Software • Multimodal Computational Attention • Scene Recognition Software • Scene Understanding • Visual and Auditory Attention • Visual Saliency Models |
| ISBN-10 | 3-319-33796-3 / 3319337963 |
| ISBN-13 | 978-3-319-33796-8 / 9783319337968 |
| Haben Sie eine Frage zum Produkt? |
PDF (Ohne DRM)Digital Rights Management: ohne DRM
Dieses eBook enthält kein DRM oder Kopierschutz. Eine Weitergabe an Dritte ist jedoch rechtlich nicht zulässig, weil Sie beim Kauf nur die Rechte an der persönlichen Nutzung erwerben.
Dateiformat: PDF (Portable Document Format)
Mit einem festen Seitenlayout eignet sich die PDF besonders für Fachbücher mit Spalten, Tabellen und Abbildungen. Eine PDF kann auf fast allen Geräten angezeigt werden, ist aber für kleine Displays (Smartphone, eReader) nur eingeschränkt geeignet.
Systemvoraussetzungen:
PC/Mac: Mit einem PC oder Mac können Sie dieses eBook lesen. Sie benötigen dafür einen PDF-Viewer - z.B. den Adobe Reader oder Adobe Digital Editions.
eReader: Dieses eBook kann mit (fast) allen eBook-Readern gelesen werden. Mit dem amazon-Kindle ist es aber nicht kompatibel.
Smartphone/Tablet: Egal ob Apple oder Android, dieses eBook können Sie lesen. Sie benötigen dafür einen PDF-Viewer - z.B. die kostenlose Adobe Digital Editions-App.
Buying eBooks from abroad
For tax law reasons we can sell eBooks just within Germany and Switzerland. Regrettably we cannot fulfill eBook-orders from other countries.
aus dem Bereich
