Event-Kamera-basierte 3D-Erfassung für Mixed Reality

Tiefeneinschätzung mit einer eventbasierten Kamera und einem Beamer.
© Fraunhofer HHI

VIT-Team stellt Paper auf CVPR 2023 vor.

Ein Paper von Forschenden der Abteilung „Vision and Imaging Technologies“ (VIT) des Fraunhofer Heinrich-Hertz-Instituts (HHI) wurde beim CVPR 2023 Workshop for Event-based Vision angenommen. Der weltweit renommierte Workshop behandelt neuartige eventbasierte Kameras und Algorithmen, die im Gegensatz zu herkömmlichen Kameras deutlich energiesparender, lichtempfindlicher und dynamischer sind. Die Arbeit „X-maps: Direct Depth Lookup for Event-based Structured Light Systems” untersucht die Nutzung eventbasierter Kameras, um Latenzzeiten in Mixed-Reality-Umgebungen zu minimieren und die Nutzungserfahrung zu verbessern.

Eventbasierte Kameras nehmen im Gegensatz zu herkömmlichen Kameras keine kompletten Bilder auf, die dann zeit- und energieaufwendig verarbeitet und gespeichert werden müssen. Stattdessen erzeugen sie kontinuierliche Pixelströme mit einer zeitlichen Auflösung im Mikrosekundenbereich. Diese grundlegend andere Art der Signalerzeugung bringt einige Vorteile mit sich: Eventbasierte Kameras besitzen einen hohen Dynamikbereich, und sehr niedrige Latenzen. Aufgrund dieser Eigenschaften eröffnen sie Möglichkeiten, die mit herkömmlichen Kameras (die in den letzten 60 Jahren die wichtigste Sensortechnologie darstellten) undenkbar sind.

Insbesondere durch die geringen Latenzzeiten sind diese neuen Sensoren für die Anwendung in Mixed-Reality-Technologien (XR) interessant, wo bereits minimale Verzögerungen in der Bildverarbeitung die User Experience stark negativ beeinflussen können.

In ihrem Paper untersuchen die Fraunhofer HHI Forschenden die Kombination einer eventbasierten Kamera mit einem Beamer zur Echtzeit-Tiefenschätzung für Spatial-Augmented Reality-Anwendungen (SAR). SAR wird auch als projektionsbasierte Augmented Reality bezeichnet und beschreibt die Überlagerung von virtuellen Inhalten auf die physische Umgebung durch Projektion. Dadurch können immersive, interaktive und eindrucksvolle Erfahrungen in unterschiedlichen Anwendungsgebieten wie Industrie, Kultur oder Gesundheitswesen geschaffen werden. Dabei sind interaktives Feedback und hohe Frame-Raten essentiell.

In den Untersuchungen der Forschenden wird die 3D-Struktur der projizierten Fläche mithilfe der eventbasierten Kamera gemessen. Dabei wird die Projektion automatisch angepasst. Dieser Prozess passiert so schnell, dass für das menschliche Auge nur ein kohärentes Bild ersichtlich ist und keine zeilenweise Erscheinung des Bildes. Daher ist eine Anpassung der Projektion auch bei dynamischen Szenen mit mobilen Elementen möglich. Diese Technik könnte beispielsweise außerhalb der XR bei Nutzung eines Beamers auf einer krummen Projektionsfläche genutzt werden, um die Projektion in Echtzeit auf die Fläche anzupassen. Zusätzlich werden in dem Paper neue Verfahren zur schnellen Verarbeitung der detektierten Gegenstände und Events sowie zur Kalibrierung nichtlinearen Verhaltens vorgestellt.

Wissenschaftliche Ansprechpartner:

Martina Müller
Pressekontakt
Telefon +49 30 31002 242
E-Mail martina.mueller@hhi.fraunhofer.de

Anna Hilsmann
Technischer Kontakt
Telefon +49 30 31002-569
E-Mail: anna.hilsmann@hhi.fraunhofer.de

Originalpublikation:

https://tub-rip.github.io/eventvision2023/papers/2023CVPRW_X-Maps_Direct_Depth_L…

Weitere Informationen:

https://tub-rip.github.io/eventvision2023/

https://www.hhi.fraunhofer.de/news/nachrichten/2023/event-kamera-basierte-3d-erfassung-fuer-mixed-reality-vit-team-stellt-paper-auf-cvpr-2023-vor.html

Media Contact

Martina Müller Pressestelle
Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut, HHI

Alle Nachrichten aus der Kategorie: Informationstechnologie

Neuerungen und Entwicklungen auf den Gebieten der Informations- und Datenverarbeitung sowie der dafür benötigten Hardware finden Sie hier zusammengefasst.

Unter anderem erhalten Sie Informationen aus den Teilbereichen: IT-Dienstleistungen, IT-Architektur, IT-Management und Telekommunikation.

Zurück zur Startseite

Kommentare (0)

Schreiben Sie einen Kommentar

Neueste Beiträge

Hybride Strom-Wärme-Erzeugung

Neuartiges Parabolrinnen-Solarmodul entsteht an TU Graz. Mittels Hohlspiegel auf Photovoltaik-Zellen gebündelte Sonnenstrahlen liefern nicht nur Strom, sondern auch thermische Energie zum Heizen oder Kühlen. Drei technologische Innovationen verringern die Kosten…

Geheimnissen unserer Galaxie auf der Spur

Benachbarte Sternhaufen bewegen sich als Welle. Neue Ergebnisse deuten darauf hin, dass es keine signifikante Menge an dunkler Materie in unserer Nachbarschaft gibt. Erst vor wenigen Jahren entdeckte ein internationales…

Innovative Computertomographie

…verbessert Beurteilung der koronaren Herzkrankheit. Studie der Universitätsmedizin Mainz zeigt: Schweregrad der Erkrankung bei über 50 Prozent der Patient:innen mit Standardverfahren zu hoch eingestuft. Forschende der Universitätsmedizin Mainz haben gezeigt,…

Partner & Förderer