Aktivitätserkennung im Fahrzeuginnenraum

Das Occupant-Monitoring-System des Fraunhofer IOSB erkennt neben der Körperpose aller Insassen auch Aktivitäten und damit zusammenhängende Objekte.
© M. Zentsch/Fraunhofer IOSB

Automatisiertes Fahren…

Ist der Autofahrer müde oder schläft er gar? Kameras im Innenraum überprüfen dies bereits. Wichtig und vom Gesetzgeber vorgeschrieben werden Innenraumkameras insbesondere beim automatisierten Fahren. Ein neues System des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung IOSB leitet aus den Bilddaten erstmals Aussagen zu den Aktivitäten des Fahrers ab und analysiert, wie schnell dieser die Steuerung übernehmen könnte.

Beim automatisierten Fahren entscheidet das Fahrzeug, was es tun muss – es lenkt, bremst und beschleunigt. Bis es jedoch so weit ist, dass Fahrzeuge gänzlich auf einen Fahrer verzichten können, werden teilautomatisierte Fahrzeuge den Wagenlenker unterstützen und ihm zunehmend mehr Freiheiten verleihen. Naturgemäß sind bei teilautomatisierten Fahrzeugen Übergaben zwischen Auto und Fahrer nötig, etwa bei einer Baustelle auf der Autobahn oder beim Übergang in den Stadtverkehr nach einer Autobahnfahrt. Das Fahrzeug muss also nicht nur intelligent werden, um den Verkehr zu interpretieren, sondern auch nach innen schauen und mit dem Fahrer in den Dialog treten. Was macht der Fahrer gerade? Wie schnell könnte er die Steuerung des Fahrzeugs übernehmen? Zwar gibt es bereits Fahrerbeobachtungssysteme, diese nutzen jedoch bisher kaum Kamerabilddaten und beschränken sich vorwiegend auf die Erkennung von Müdigkeit.

Künstliche Intelligenz erkennt, was der Fahrer tut

Dem Dialog zwischen Fahrer und Auto widmen sich die Forscherinnen und Forscher am Fraunhofer IOSB – und füllen damit diese Lücke. »Mit unserer Technologie erkennen wir nicht nur das Gesicht, sondern vielmehr die aktuellen Posen des Fahrers und der Mitfahrer«, sagt Dr. Michael Voit, Gruppenleiter am Fraunhofer IOSB. »Aus diesen Posen wiederum können wir zuverlässig bestimmen, womit sich Fahrer und Insassen gerade beschäftigen.«

Der Kern der Entwicklung liegt in Algorithmen und Verfahren des maschinellen Lernens, also der Künstlichen Intelligenz. Die Algorithmen analysieren die Kameradaten in Echtzeit und finden heraus, ob der Fahrer telefoniert, mit den Kindern spielt oder auf das Handy des Mitfahrers schaut. Die Technologie des Fraunhofer IOSB geht damit über die reine Bilderkennung hinaus und interpretiert Aktivitäten im Kontext. Die Forscherinnen und Forscher haben das System zunächst angelernt, indem sie zahlreiche Kameraaufnahmen per Hand annotierten: Wo befinden sich Hände, Füße, Schultern der Personen, wo sind Objekte wie Smartphones, Bücher und Co. zu erkennen? Anschließend evaluierten sie die Algorithmen mit neuen Bildern und korrigierten oder verifizierten deren Ergebnisse.

Aufnahmen des Fahrers oder der Insassen abstrahiert das System zu einem digitalen Skelett – einer Art Strichmännchen, das die Körperpose der Person nachbildet. Aus der Skelettbewegung und einer ergänzenden Objekterkennung wiederum schließt es auf die Aktivität. »Die Algorithmen wissen also, ob jemand schläft oder auf die Straße blickt, wie abgelenkt die Person ist und wie lange es dauert, bis die volle Aufmerksamkeit wieder auf den Verkehr gerichtet werden kann«, erläutert Voit. Hierfür werden sowohl klassische Videokameras unterstützt als auch Infrarotkameras, die im Dunkeln sehen können, sowie 3D-Kameras, die die Entfernung der Objekte zur Kamera messen. Auch bei der Platzierung der Kameras lässt das System den Innenraumdesignern Freiheit.

Fragen rund um die Aktivitätserkennung im Fahrzeuginnenraum bearbeiten die Forscherinnen und Forscher in zahlreichen Verbundprojekten mit namhaften Autoherstellern wie Audi und Volkswagen, aber auch Zulieferern wie Bosch und Continental. Die Projekte werden durch das Bundesministerium für Bildung und Forschung BMBF, das Bundesministerium für Wirtschaft und Energie BMWi oder das Bundesministerium für Verkehr und digitale Infrastruktur BMVI unterstützt. »Wir erkennen nicht nur die Aktivitäten des Fahrers, sondern aller Insassen im gesamten Fahrzeuginnenraum«, bekräftigt Voit. »Die Technologie ist bereit für die Vorserie. Wir stehen schon im ersten Kontakt mit Unternehmen, die unsere Technologie nutzen wollen.« Bindeglied der Entwicklungen ist der institutseigene Fahrsimulator, von dem Industriekunden auch im Rahmen individueller F&E-Projekte profitieren können. Dank simulierbarer Verkehrssituationen bietet er die Grundlage für das Sammeln relevanter Fahrt- und Verhaltensdaten und ermöglicht mit seiner umfangreichen Sensorausstattung Studien für alle Insassen.

Für Datenschutz ist gesorgt

Was Datenschutz- und Sicherheitsaspekte angeht, so denken die Forscherinnen und Forscher diese von Anfang an mit. »Die Kameradaten werden in Echtzeit ausgewertet, nicht gespeichert und verlassen zu keinem Zeitpunkt das Fahrzeug. Personalisierte Modelle werden dafür ebenso wenig benötigt – somit werden keine personenbezogenen Daten gesammelt«, sagt Dr. Pascal Birnstill, Senior Scientist, zu den Themen Datensicherheit, Datenschutz und Transparenz am Fraunhofer IOSB. Die Technologie respektiert also von vornherein die Privatsphäre und entspricht damit den strengen Regularien und dem hohen Datenschutzbewusstsein in der EU.

Zahlreiche Anwendungen – auch jenseits der Aktivitätserkennung

Wie wichtig Aktivitätserkennungen sind, zeigt eine Verordnung der EU: Das »Driver Monitoring« soll bei der Automatisierung des Autos verpflichtend werden. Mit der Technologie aus dem Fraunhofer IOSB können Fahrzeughersteller nicht nur diese Richtlinie erfüllen, sondern zudem zahlreiche Visionen in puncto autonomes Fahren Realität werden lassen. Ein Beispiel: Spracherkennung stößt bei der Kommunikation von Mensch und Auto schnell an ihre Grenzen. So ist der Befehl »Park dort ein« für sich genommen nicht aussagekräftig. Über die Körperposen- und Aktivitätserkennung weiß das System jedoch, auf welche Parklücke der Nutzer in dem Moment zeigt. Auch bei Sicherheitsaspekten von fahrerlosen Fahrzeugen kann das System helfen: Während derzeit die Fahrenden noch darauf achten, dass alle Mitfahrer die Sicherheitsregeln einhalten und sich beispielsweise anschnallen, wird dies künftig das fahrerlose Fahrzeug übernehmen müssen – etwa bei autonom fahrenden Taxis oder Bussen. Auch hier ist eine zuverlässige Innenraumüberwachung unverzichtbar.

Weitere Informationen:

https://www.fraunhofer.de/de/presse/presseinformationen/2021/september-2021/akti…

Media Contact

Dipl.-Phys. Ulrich Pontes Leiter Presse und Kommunikation
Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

Alle Nachrichten aus der Kategorie: Automotive

Die wissenschaftliche Automobilforschung untersucht Bereiche des Automobilbaues inklusive Kfz-Teile und -Zubehör als auch die Umweltrelevanz und Sicherheit der Produkte und Produktionsanlagen sowie Produktionsprozesse.

Der innovations-report bietet Ihnen hierzu interessante Berichte und Artikel, unter anderem zu den Teilbereichen: Automobil-Brennstoffzellen, Hybridtechnik, energiesparende Automobile, Russpartikelfilter, Motortechnik, Bremstechnik, Fahrsicherheit und Assistenzsysteme.

Zurück zur Startseite

Kommentare (0)

Schreiben Sie einen Kommentar

Neueste Beiträge

Insekten-Verdauungsenzym aktiviert zuckerhaltigen Pflanzenabwehrstoff

Der Abbau von Pflanzenabwehrstoffen durch Insekten-Verdauungsenzyme kann die Vorliebe der Insekten für bestimmte Futterpflanzen beeinflussen, zeigt eine neue Studie nun erstmals. Wissenschaftlerinnen und Wissenschaftler der Westfälischen Wilhelms-Universität (WWU) Münster, der…

Supraleitung: Mit neuen Tricks zu besseren Materialien

Nickelate gelten als neuer Hoffnungsträger für künftige Supraleitungs-Technologien. An der TU Wien gelang es nun erstmals, ihre elektronische Struktur präzise zu erklären. Auch nach über 30 Jahren Forschung gehört die…

Mechanismus hinter mangelnder Wirkung von Schuppenflechte-Medikamenten identifiziert

Bisher galt Interleukin-12 – ein Botenstoff der Immunzellen – als einer der Auslöser für die Entstehung von Schuppenflechte. Nun zeigen Forschende der Universität Zürich, dass Interleukin-12 die Hautkrankheit nicht verursacht,…

Partner & Förderer