Supporting Take-over Situations in Highly Automated Driving

Highly automated vehicles (HAV) will have an enormous impact on drivers’ safety, efficiency, and comfort. The next generation of HAVs (i.e., Limited Self Driving Automation; SAE Level 3) will allow users to be engaged in non-driving related tasks (NDRT), absolving them of the need to visually monitor the roadway constantly.
Instead, such vehicles are expected to present take-over requests in a timely manner, insofar as it would be sufficient to allow users to resume vehicle control comfortably, in order to deal with any (unexpected) scenarios that vehicle automation has not been designed to handle. Such situations, termed take-over situations, require the vehicle to present a take-over request (TOR) that notifies users to resume vehicle control. Take-over situations require users to disengage from the NDRTs, shift their attention to the driving scene, perceive and understand the context, make decisions, and perform appropriate maneuvers accordingly. Therefore, there is a critical need to support users to ensure smooth transitions from their NDRT to resuming vehicle control, whenever necessary.
Thus, the design of TORs should consider the levels of situational awareness of users at take-over, as well as presentation properties of TORs that ensure fast and safe transitions.
Despite that advances in computing have allowed users to perform multiple concurrent activities or switch between tasks, when interacting with machines, human cognitive capabilities have not increased, leaving us vulnerable to errors. Therefore we investigate the following research question: "How can we support a driver’s ability to seamlessly switch from engaging with a nondriving related task to monitor and resume the diverse complex maneuvers that constitute effective vehicle handling?" To answer this question, we studied TORs from three aspects: (a) presentation information and modality of TORs, (b) situational factors that affect TOR responses, and (c) decision priming and NDRT engagement. We explored interaction concepts and prototypes of TORs in several experiments conducted in low, medium and high fidelity driving simulators. We found out that the presentation modality of TORs should adapt to the modality of NDRT to avoid conflicts sharing of mental resources. Conveying contextual information through TORs result in faster and safer responses. Users’ responses, however, are not only guided by the presentation parameters of the TORs, but also the road context and presence of motion and visual cues where TORs are issued. Furthermore, priming the users with decisions about upcoming maneuvers results in faster and safer takeover behavior independent of their level of engagement in NDRTs.
Drawing on the results of four experiments, we provide implications and guidelines for the design of TORs which can be applied in future research and support industries in developing assistant systems for users of highly automated vehicles. Hochautomatisierte Fahrzeuge (HAF) werden in Zukunft einen enormen Einfluss auf die Sicherheit, Leistung und Komfort seitens der Fahrer haben. Mit der nächsten Generation von HAFs (d.h. Bedingte Automation; SAE Level 3) wird es den Nutzern und Nutzerinnen möglich sein, sich Aktivitäten abseits des Fahrens zu widmen (Engl.: non-driving related tasks, NDRT), da die nicht länger gezwungen sind, die Fahrbahn kontinuierlich visuell zu überwachen. Stattdessen wird nun von den Fahrzeugen erwartet werden, dass sie dem Nutzer rechtzeitig kommunizieren, wann dieser die Kontrolle des Fahrzeugs übernehmen muss, um rechtzeitig und komfortabel auf (unerwartete) Szenarien reagieren zu können. In solchen Fällen, die durch die Fahrzeugautomatisierung nicht abgedeckt werden, wird der Fahrer oder die Fahrerin aufgefordert, die Kontrolle über das Fahrzeug zu übernehmen. Eine solche Übernahmesituation (Engl.: take-over situations) erfordert, dass das Fahrzeug eine Übernahmeanforderung (Engl.: takeover request, TOR) präsentiert und damit den Nutzer oder die Nutzerin auffordert, die Fahrzeugsteuerung wieder zu übernehmen. Übernahmesituationen erfordern, dass der Nutzer oder die Nutzerin sich vom NDRT löst, seine/ihre Aufmerksamkeit auf die Fahrszene verlagert, diese wahrnimmt und kontextualisiert, Entscheidungen trifft und anschließend ein geeignetes Manöver durchführt. Aus diesem Grund besteht die dringende Notwendigkeit, Benutzer und Benutzerinnen adäquat zu unterstützen, um jederzeit einen reibungslosen und sicheren Übergang von einem NDRT zur Wiederaufnahme der Fahrzeugsteuerung zu gewährleisten. Daher ist es entscheidend, dass das Design von TORs das Situationsbewusstsein des Nutzers/der Nutzerin bei der Übernahme, sowie Präsentationseigenschaften des TOR, berücksichtigt um einen schnellen und sicheren Übergang zu ermöglichen.
Obwohl zeitgenössische Mensch-Maschine Schnittstellen es dem Nutzer zunehmend ermöglichen, mehrere Aktivitäten gleichzeitig auszuführen oder zwischen mehreren Aufgaben hin und her zu wechseln, haben sich die kognitiven Fähigkeiten des Menschen nicht angepasst, was eine inhärente Fehleranfälligkeit bedingt. Diese Arbeit behandelt daher die Forschungsfrage: "Wie kann die Fähigkeit eines Fahrers/einer Fahrerin nahtlos von einem NDRT in die aktive Fahrzeugkontrolle und die damit verbundenen, vielfältigen und komplexen Aufgaben und Manöver über zu gehen?"
Um Rückschlusse auf diese Frage zu ziehen, untersucht die vorliegende Arbeit TORs in dreierlei Hinsicht: (a) Darstellungsinformation und -modalität von TORs, (b) situationsbedingte Faktoren, die die Reaktion auf TORs beeinflussen, und (c) Entscheidungsgrundlagen und Relevanz der Eingebundenheit in NDRTs.
Wir untersuchten Interaktionskonzepte und Prototypen von TORs in mehreren Experimenten, die in Fahrsimulatoren mit niedriger, mittlerer und hoher Detailtreue durchgeführt wurden. Unsere Experimente zeigen, dass die Präsentationsmodalität von TORs sich an die Modalität des NDRTs anpassen sollte, um Konflikte um mentale Ressourcen zu vermeiden. Kontextuell übermittelte Informationen durch TORs führen zu schnelleren und sichereren Reaktionen.
Die Reaktion der Nutzer/Nutzerinnen wird jedoch nicht nur durch die Darstellungsparameter der TORs beeinflusst, sondern auch der Kontext des Straßenverkehrs und die Wahrnehmung von Bewegung und visuellen Reizen als Stimuli.
Erhalten Nutzer/Nutzerinnen bereits im Vorfeld Entscheidungshilfen zu anstehenden Manövern, so kann dadurch eine schnellere und sichere Übernahme der Fahrzeugkontrolle erreicht werden, unabhängig von deren vorhergehender Eingebundenheit in NDRTs.
Zusätzlich zu den Ergebnissen dieser vier Experimente liefert die vorliegende Arbeit Implikationen und Richtlinien für das Design von TORs, die einen relevanten Beitrag zur Entwicklung von Assistenzsystemen für Hochautomatisiertes Fahren im Kontext zukünftiger Forschungsarbeiten in Industrie und Wissenschaft liefern können.