Das Unsichtbare sichtbar machen: Schlierenfotografie mit Eventkameras

Schlierenfotografie des menschlichen Atems. Links sieht man die Pixel von der Eventkamera, rechts das Endergebnis aus der Kombination von Eventkamera und normaler Kamera. Die Farben links geben an, ob ein Pixel eine positive oder negative Helligkeitsänderung angezeigt hat. Die Farben rechts zeigen die Richtung der Bewegungsänderung der Atemwolke an.
© S. Shiba/F. Hamann

Ein völlig neues Konzept in der Fotografie kann die Aufnahme von Strömungen transparenter Medien wesentlich verbessern.

Die sogenannte Schlierenfotografie ist ein Standardverfahren in Forschung und Industrie: Mit ihr werden Aufnahmen im Windkanal gemacht, Strömungen von Düsen und Turbinen untersucht oder Gaslecks in Tanks und Anlagen aufgespürt. Einem Team aus zwei Forschern der TU Berlin und einem japanischen Wissenschaftler ist es am Exzellenzcluster „Science of Intelligence“ (SCIoI) nun gelungen, mit dem völlig neuen Konzept der „Eventkameras“ die Möglichkeiten der Schlierenfotografie deutlich zu erweitern.

Im Gegensatz zu herkömmlichen Kameras nehmen Eventkameras nicht ganze Bilder auf einmal auf, sondern registrieren für jedes lichtempfindliche Pixel getrennt nur die Veränderungen in der Helligkeit (die „Events“). Wissenschaftler*innen der TU Berlin am Exzellenzcluster „Science of Intelligence“ forschen an neuen Methoden, mit der sich solche Aufnahmen auswerten lassen. Sie könnten Robotern das Sehen erleichtern, autonom fahrende Autos sicherer machen und in unseren Smartphones für noch mehr kreative Möglichkeiten sorgen. „Eher durch Zufall haben wir festgestellt, dass sich Eventkameras auch hervorragend eignen, um das Verfahren der Schlierenfotografie zu verbessern“, erklärt Prof. Dr. Guillermo Gallego von der Fakultät IV „Elektrotechnik und Informatik“ der TU Berlin.

Internationale Zusammenarbeit war Anstoß zum Erfolg

Mit einem DAAD-Stipendium war Shintaro Shiba von der Keio University im japanischen Kanagawa zwei Jahre lang an der TU Berlin als Doktorand in der Arbeitsgruppe von Guillermo Gallego tätig. Sein Thema waren Methoden zur Schätzung von Bewegungen mit Hilfe der Eventfotografie – was etwa für das autonome Fahren oder die Zusammenarbeit von Menschen und Robotern wichtig ist. „Bei einer Literaturrecherche bin ich eher nebenbei auf die Schlierenfotografie aufmerksam geworden, mit deren Hilfe man die Bewegung von transparenten Medien beobachten kann“, erzählt Shiba. Das Team stellte schnell fest: Eine Kombination von Schlieren- und Eventfotografie würde enorme Vorteile bringen.

Schlierenfotografie macht Unsichtbares sichtbar

An einem heißen Sommertag scheint die Luft über dem grauen, aufgeheizten Asphalt zu flimmern. Der physikalische Effekt ist derselbe wie bei der Schlierenfotografie: Hier wird die Bewegung von eigentlich nicht sichtbaren, transparenten Medien wie Flüssigkeiten oder Gasen sichtbar gemacht. Eine Methode ist dabei, diese Medien vor einem kleingemusterten, schwarzweißen Hintergrund aufzunehmen. Durch Bewegung etwa in einem transparenten Gas entstehen Orte mit unterschiedlicher Dichte und damit unterschiedlichem Brechungsindex. Die Kanten im Hintergrundmuster werden dadurch unterschiedlich verzerrt, was zu einem schlierenhaften Abbild der Bewegung führt – daher der Name des Verfahrens. Mit Hilfe von Software kann aus den Daten dann der Hintergrund auch ganz entfernt werden, übrig bleibt das Schlierenmuster.

Eventfotografie arbeitet ohne Belichtungszeit

Die Eventfotografie wiederum ist vom menschlichen Sehen inspiriert: Ähnlich wie bei den Vorgängen in der Netzhaut trägt jedes lichtempfindliche Pixel der Kamera zeitlich unabhängig zum Gesamtbild bei – es gibt also keine Belichtungszeit, nach der alle Pixel auf einmal ausgelesen werden. Da die Pixel nur ein Signal senden, wenn sich die Stärke des Lichteinfalls ändert, ist die zu verarbeitende Datenmenge für mit Eventkameras aufgenommene Videos kleiner. Und weil es keine Belichtungszeit gibt, für die sich die Kamera entscheiden muss, können sowohl dunkle wie besonders helle Bereiche annähernd gleich gut dargestellt werden. Zudem ist die Reaktionszeit einer Eventkamera durch den Wegfall der Belichtungszeit kleiner, was es einfacher macht, Hochgeschwindigkeitsaufnahmen durchzuführen. Mit diesen können dann hochaufgelöste Zeitlupenfilme erstellt werden.

Event-basierte Schlierenfotografie erfasst Bewegungen an Kanten von Objekten

„Bei der Auswertung unserer mit Eventkameras aufgenommenen Daten können wir die Bewegung von Objekten vor allem an deren Kanten erfassen. Dies nutzen wir nun auch für die Schlierenfotografie: Wir erfassen die scheinbare Bewegung des Hintergrundmusters mithilfe der Eventdaten und können in der Folge die Bewegungsrichtung schätzen“, erklärt der dritte Wissenschaftler im Team, der Doktorand Friedhelm Hamann.

Verbesserungen um das Zehnfache

In seiner Veröffentlichung, die diese Zusammenhänge erstmals beschreibt, hat das Forscherteam auch eine komplette mathematische Theorie für die digitale Auswertung von Schlierenaufnahmen mit Eventkameras aufgestellt. Um das für die Schlierenfotografie notwendige Hintergrundmuster im Computer entfernen zu können, nahmen sie beispielhafte Szenen – etwa aufsteigende Luft über einer Herdplatte oder menschlichen Atem – sowohl mit einer Event- wie mit einer normalen Kamera auf. Durch den Einsatz von Künstlicher Intelligenz (KI) bei der Auswertung erzielten sie bereits mit dieser Kombination Hochgeschwindigkeitsaufnahmen, die sonst nur mit sehr teuren und aufgrund ihrer Größe vielfach unpraktischen modernen Hochgeschwindigkeitskameras möglich gewesen wären. In Bezug auf die zeitliche Auflösung und den Dynamikbereich, also das Maß für die noch darstellbaren Helligkeitsunterschiede, konnten sie eine zehnfache beziehungsweise vierfache Verbesserung gegenüber den üblicherweise in der Schlierenfotografie verwendeten Kameras erzielen. Weil die KI nur wenige Daten von der normalen Kamera benötigte, konnte auch die Menge der insgesamt verwendeten Daten auf ein Zehntel reduziert werden.

Anwendungen in Luft- und Raumfahrtforschung, Strömungstechnik und Industrie

„Die besseren Zeitlupenaufnahmen bei gleichzeitig höherer Auflösung werden sicherlich in Zukunft in den Laboren zum Beispiel der Luft- und Raumfahrtforschung wertvolle Dienste leisten“, ist sich Teamleiter Guillermo Gallego sicher. Auch bei der Entwicklung neuer Gasturbinen, die etwa für die Energiewende benötigt werden, könne die Schlierenfotografie mit Eventkameras wichtig werden. „Dass Eventkameras auch bei schlechten Lichtverhältnissen funktionieren, kann wiederum im industriellen Einsatz nützlich sein, etwa beim Aufspüren von Gaslecks mit Hilfe von Schlierenfotografie.“ Durch die Reduktion der Datenmengen entfalle zudem die oft notwendige, aufwändige Kühlung der lichtempfindlichen Chips in den Kameras, was eine kleinere Bauart möglich mache.

Beweis für die Wichtigkeit von Grundlagenforschung

Der unerwartete Erfolg sei auch ein Beweis für die Bedeutung von Grundlagenforschung, deren Anwendungsmöglichkeiten man nicht vorhersagen könne, erklärt Gallego. „Die Forschung an Eventkameras wurde ursprünglich von Neurowissenschaftler*innen angestoßen, die damit ein Modell für das menschliche Sehen etablieren haben. Hier am Exzellenzcluster Science of Intelligence nutzen wir sie, weil wir intelligente Anwendungen etwa in Robotern oder Fahrzeugen vorantreiben wollen. Und nun hat sich durch Zufall gezeigt, dass Eventkameras auch für Strömungsforschung und Industrie hilfreich sein können. Das investierte Geld und die Anstrengung von allen Beteiligten haben sich hier also schon doppelt und dreifach ausgezahlt.“

Zusätzliche Informationen:

Shintaro Shiba, Friedhelm Hamann, Yoshimitsu Aoki and Guillermo Gallego, „Event based Background-Oriented Schlieren“, IEEE Trans. Pattern Anal. Machine Intell. (TPAMI), 2023 [Link: https://doi.org/10.1109/TPAMI.2023.3328188]

Video (HD): https://youtu.be/JbEQBjvpYDc

Weitere Informationen erteilen Ihnen gern:

Prof. Dr. Guillermo Gallego
Technische Universität Berlin
Fakultät IV „Elektrotechnik und Informatik“
Tel.: +49 (0)30 314 – 70145
E-Mail: guillermo.gallego@tu-berlin.de

Friedhelm Hamann
Technische Universität Berlin
Fakultät IV „Elektrotechnik und Informatik“
Tel.: +49 (0)30 – 75771
E-Mail: f.hamann@tu-berlin.de, friedhelmha2@gmail.com

https://www.tu.berlin/ueber-die-tu-berlin/profil/pressemitteilungen-nachrichten/schlierenfotografie

Media Contact

Stefanie Terp Stabsstelle Kommunikation, Events und Alumni
Technische Universität Berlin

Alle Nachrichten aus der Kategorie: Informationstechnologie

Neuerungen und Entwicklungen auf den Gebieten der Informations- und Datenverarbeitung sowie der dafür benötigten Hardware finden Sie hier zusammengefasst.

Unter anderem erhalten Sie Informationen aus den Teilbereichen: IT-Dienstleistungen, IT-Architektur, IT-Management und Telekommunikation.

Zurück zur Startseite

Kommentare (0)

Schreiben Sie einen Kommentar

Neueste Beiträge

Neuartige Beschichtung gegen Eis

Das Material verzögert die Bildung von Eiskristallen und verringert die Adhäsion von Eisschichten. Dank einer innovativen Fertigungsmethode ist die Beschichtung sehr robust und haftet auf zahlreichen Oberflächen. Eisabweisende Beschichtungen gibt…

Bioabbaubare Materialien – In Bier verpackt

Empa-Forschende haben aus einem Abfallprodukt der Bierbrauerei Nanocellulose gewonnen und diese zu einem Aerogel verarbeitet. Der hochwertige Werkstoff könnte in Lebensmittelverpackungen zum Einsatz kommen. Am Anfang war die Maische. Das…

RISEnergy: Innovationen für die Klimaneutralität beschleunigen

Die EU strebt bis 2050 Klimaneutralität an. Das Projekt RISEnergy (steht für: Research Infrastructure Services for Renewable Energy) soll auf dem Weg dorthin die Entwicklung von Innovationen für erneuerbare Energien…

Partner & Förderer