Intelligente Kamerasysteme

Über die Kooperation im Projekt EVSC (Event Vision Stream Compres­sion) unterstützt die Hochschule Karlsruhe (HKA) Mercedes-Benz in der Weiterentwicklung des autonomen Fahrens. Im Mittelpunkt steht die Weiterentwicklung der komplexen Kameratechnologien im Neuromorphic Computing.

Intelligente Kamerasysteme gelten neben der restlichen Sensorik als Kerntechnologie beim autonomen Fahren. Aktuelle Kameras erzeugen in festen zeitlichen Abständen ein Bild. Sie versorgen das autonome Fahrsystem also kontinuierlich mit Momentaufnahmen der Umgebung. In dieser Funktionsweise steckt allerdings ein Nachteil: Das Fahrsystem erhält in der Zeit, die zwischen der Aufnahme zweier Bilder vergeht, keinerlei Informationen vom Kamerasystem. Eine typische Bildrate aktueller Kameras ist 30 Bilder pro Sekunde. Bei einer Fahrgeschwindigkeit von 100 km/h bewegen wir uns also bereits einen Meter weit, bevor das autonome System neue visuelle Informationen erhält. Außerdem weisen die heutigen Verarbeitungssysteme der Kameradaten einen hohen Energiebedarf auf, da 30 Bilder pro Sekunde komplett verarbeitet werden müssen.

Von Mercedes-Benz wurde nun ein umfassendes internationales Forschungsprojekt ins Leben gerufen. Der Automobilriese möchte damit die technischen Möglichkeiten zur intelligenten Mobilität vorantreiben, unter anderem mittels Neuromorphic Computing. Dieser Ansatz ahmt das menschliche Gehirn nach, KI-Berechnungen intelligenter Systeme werden dadurch energieeffizienter und mit höherer Geschwindigkeit ausgeführt. Sicherheitssysteme könnten zum Beispiel Verkehrszeichen, Fahrspuren und Objekte auch bei schlechter Sicht viel besser erkennen und schneller reagieren – ohne die Reichweite des Fahrzeugs zu beeinflussen. Neuromorphic Computing hat das Potenzial, den Energiebedarf für die Datenverarbeitung beim autonomen Fahren im Vergleich zu heutigen Systemen um 90 % zu senken.

Ein wesentlicher Baustein von Neuromorphic Computing sind neuromorphe Kameras. Die sogenannten Event-Kameras stehen im Mittelpunkt des Projekts EVSC der HKA. Diese Kameratechnologie stellt einen Paradigmenwechsel dar: Anders als herkömmliche Kameras nehmen Event-Kameras dynamisch Veränderungen in Ihrem Blickfeld wahr, statt in festen Abständen ein Bild aufzunehmen. Damit geht eine dramatische Verbesserung der zeitlichen Auflösung einher. Event-Kameras können das autonome Fahrsystem innerhalb weniger Mikrosekunden mit neuen Informationen versorgen, während herkömmliche Bildsensoren zwischenzeitlich „blind“ sind. Auf das Beispiel von oben übertragen, verringert eine Event-Kamera die Reaktionsstrecke bei 100 km/h Fahrtgeschwindigkeit etwa auf 3 cm. Eine erhebliche Verbesserung von Faktor 30 zu aktuellen Systemen! „Die größte Schwierigkeit bei der Umsetzung dieser revolutionären Technologie“, so Prof. Dr. Jan Bauer, Professor für Image Processing & Neural Networks an der Fakultät für Elektro- und Informationstechnik der HKA, „ist die Integration in das Gesamtsystem, die oft mit komplexer Verkabelung und hohem Stromverbrauch der Kameras verbunden ist. Bei unserem Projekt beschäftigen wir uns also auch damit, wie wir die Integrierbarkeit von Event-Kameras in das Auto verbessern können. Unser Hauptziel ist es, durch Kompression die Spitzenbitrate bei der Datenübertragung zu begrenzen und so die Kosten sowie den Nettostromverbrauch für die Übertragung der Event-Kamera-Daten zu senken.“

Mit der Projektkooperation verfolgt die Hochschule Karlsruhe konsequent einen weiteren Schritt in der Mitgestaltung der Zukunft des autonomen Fahrens, denn Prof. Dr. Jan Bauer ist sich sicher, dass der Einsatz von Event-Kameras die Fähigkeit von autonomen Fahrzeugen, die Umwelt schneller und genauer zu erfassen, erheblich erweitern wird. „Und mit dem Projekt EVSC können wir die Integrationsfähigkeit dieser neuen Kameratechnologie in das Fahrzeug deutlich verbessern“, so der HKA-Forscher.

Wissenschaftliche Ansprechpartner:

Prof. Dr. Jan Bauer
Fakultät für Elektro- und Informationstechnik
jan.bauer@h-ka.de

Originalpublikation:

https://www.h-ka.de/die-hochschule-karlsruhe/aktuelles/news/2024/kameratechnolog…