Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Videoaufzeichnungen schnell auswerten

27.10.2011
Videos schauen in der Arbeitszeit? Das mag für viele reizvoll klingen. Für Sprachwissenschaftler, die tagelang Videoaufzeichnungen betrachten, um etwa Handbewegungen auszuwerten, kann es mühsam sein.

Eine neue Software, die Fraunhofer-Forscher mit Kollegen von Max-Planck entwickelt haben, erledigt diese Arbeit künftig automatisch. Teile dieser Technik finden sich seit 2010 in der ARD Mediathek. Auch Konferenzveranstalter und die Sicherheitsbranche profitieren von der automatischen Analyse.

Wie wird Sprache im Gehirn verarbeitet? Wie hängen etwa gestikulierende Handbewegungen mit dem gesprochenen Wort zusammen? Was passiert bei Versprechern – »verspricht« die Hand sich auch oder gleicht sie den Fehler aus? Um solche Fragen zu klären, sichten Wissenschaftler riesige Mengen von Videoaufzeichnungen und analysieren sie. Videomaterial steht genügend zur Verfügung – allein im Max-Planck-Institut für Psycholinguistik in Nimwegen, Niederlande, haben die Forscher über 50 000 Stunden Film zusammengetragen, um solche Fragen zu klären. Doch wenn es darum geht, aus diesen Aufzeichnungen wissenschaftliche Erkenntnisse zu gewinnen, ist es bisher mühselig: die Experten müssen jedes einzelne Video ansehen und annotieren: sie markieren beispielsweise, wo gesprochen wird, wer spricht oder wo der Sprecher die Hand hebt – eine zeitraubende Aufgabe.

Auch Mitarbeiter kommerzieller TV- und Radioarchive kennen diese Situation: Jedes Jahr strahlen allein die ARD-Fernsehanstalten über 100 000 Stunden aus. Diese Datenflut können die Angestellten nicht mehr manuell erfassen. Herkömmlichen Systemen zur automatischen Analyse solcher Daten macht dabei besonders die große Variabilität der Videos zu schaffen – von der Studioaufnahme des Nachrichtensprechers bis zur Außenaufnahme während eines Orkans. Sie helfen daher nur bedingt.

An einem neuen Lösungsansatz arbeiten Forscher der Fraunhofer-Institute für Nachrichtentechnik, Heinrich-Hertz-Institut HHI in Berlin und für Intelligente Analyse- und Informationssysteme IAIS in Sankt Augustin. Sie haben gemeinsam mit ihren Kollegen vom Max-Planck-Institut für Psycholinguistik nun ein Programm entwickelt, das die komplexen Video- und Audiomaterialien automatisch vor-annotiert. Das Projekt mit dem Namen AVATecH wird im Kooperationsprogramm von Max-Planck- und Fraunhofer-Gesellschaft mit 2,435 Millionen Euro gefördert.

»Das entwickelte System erkennt selbständig, an welchen Stellen des Videos beispielsweise gesprochen wird, und setzt die entsprechende Markierung«, sagtDr. Oliver Schreer, Projektleiter am HHI. »Auch Handbewegungen erkennt das System. Es sieht beispielsweise, ob sich die Hand des Sprechers nach oben oder unten bewegt, ob sie zum Kopf geführt wird oder bestimmte Gesten macht – und setzt auch hier die passende Markierung.« Die Wissenschaftler sparen also viel Zeit, sie können früher mit ihrer eigentlichen Arbeit, der psycho-linguistischen Analyse, beginnen. Ein einziger Mausklick reicht, um von einer Stelle, an der gesprochen wird, zur nächsten zu springen, oder von einer Handbewegung zur nächsten Geste.

Ausgangspunkt für diese Software sind Analysemethoden wie Gestenerkenner und Systeme zur automatischen Sprachanalyse, die die Forscher der beiden Fraunhofer Institute HHI und IAIS bereits in den vergangenen Jahren entwickelt haben. »Bisher konnten wir nur Videos analysieren, auf denen eine Person in hoher Auflösung gefilmt wurde, möglichst vor einem einfarbigen Hintergrund und mit wenig Hintergrundgeräuschen«, sagt Schreer. »Das vorliegende Material erfüllt diese Bedingungen jedoch größtenteils nicht. Das System muss auch Videos von mehreren Personen analysieren können, die etwa auf einer Parkbank sitzen und bei denen der Hintergrund aus Bäumen, Menschen und Häusern besteht. Für die Audioanalyse stellen Störgeräusche und mehrere Sprecher eine besondere Herausforderung dar.« Die Forscher haben die Algorithmen nun so angepasst, dass die Software ebendies leisten kann: Sie analysiert Videos verschiedener Qualität und markiert Sprache, Bewegungen der Hände und des Kopfes, etwa Kopfschütteln oder Nicken. »Das System so anzupassen, war eine große Herausforderung, 80 bis 90 Prozent der Software mussten wir neu schreiben«, sagt Schreer. Die Forscher vom HHI stellen Verfahren für die Videoanalyse bereit, ihre Kollegen vom IAIS die entsprechende Software für die Analyse von Audiodaten. Die Wissenschaftler des MPI in Nimwegen integrierten die neue Software in bestehende Tools und verbesserten Benutzeroberflächen und Web-Interfaces.

Im letzten der insgesamt drei Projektjahre konzentrieren sich die Forscher vom Max-Planck-Institut für Psycholinguistik nun auf die Anwenderfreundlichkeit. »Jeder Erkennungsalgorithmus produziert Fehler«, sagt Dr. Peter Wittenburg, technischer Leiter des Sprachenarchivs am MPI. »Jetzt geht es darum, diese schnell zu korrigieren, denn nur, wenn das System als Ganzes effizient funktioniert, werden die Forscher es auch nutzen.« Nicht nur die Max-Planck-Forscher sollen von der Software profitieren. Auch Wissenschaftler anderer Einrichtungen zeigen Interesse. »Die automatische Annotation hätte einen enormen Einfluss auf die Forschung«, ist sich Wittenburg sicher.

Überall dort, wo audiovisuelle Daten besonders robuste Analysealgorithmen erfor-dern, ermöglichen die entwickelten Analyseverfahren neue Anwendungen. Künftig soll die Software auch die politische Bühne für sich erobern: In einem EU-Projekt, das im November startet, werden die Fraunhofer-Forscher die Software so anpassen, dass Aufzeichnungen von Meetings, Konferenzen und Plenarsitzungen aufbereitet werden können. Dann lassen sich auch hier bestimmte Redner oder Inhalte auf den Videos leicht wiederfinden. Teile der robusten Audio-Strukturanalyse, die das IAIS 2010 für die ARD Mediathek umgesetzt hat, helfen dabei, komplexe Fernsehdaten automatisch zu erschließen.

Birgit Niesing | Fraunhofer-Gesellschaft
Weitere Informationen:
http://www.fraunhofer.de

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Diagnose per Computer: Gefährliche Krankheitserreger mithilfe maschinellen Lernens erkennen
23.05.2018 | Helmholtz-Zentrum für Infektionsforschung

nachricht Frühwarnsystem RAWIS in Katastrophenübung mit THW final getestet
23.05.2018 | Fraunhofer-Institut für Hochfrequenzphysik und Radartechnik FHR

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Mit Hilfe molekularer Schalter lassen sich künftig neuartige Bauelemente entwickeln

Einem Forscherteam unter Führung von Physikern der Technischen Universität München (TUM) ist es gelungen, spezielle Moleküle mit einer angelegten Spannung zwischen zwei strukturell unterschiedlichen Zuständen hin und her zu schalten. Derartige Nano-Schalter könnten Basis für neuartige Bauelemente sein, die auf Silizium basierende Komponenten durch organische Moleküle ersetzen.

Die Entwicklung neuer elektronischer Technologien fordert eine ständige Verkleinerung funktioneller Komponenten. Physikern der TU München ist es im Rahmen...

Im Focus: Molecular switch will facilitate the development of pioneering electro-optical devices

A research team led by physicists at the Technical University of Munich (TUM) has developed molecular nanoswitches that can be toggled between two structurally different states using an applied voltage. They can serve as the basis for a pioneering class of devices that could replace silicon-based components with organic molecules.

The development of new electronic technologies drives the incessant reduction of functional component sizes. In the context of an international collaborative...

Im Focus: GRACE Follow-On erfolgreich gestartet: Das Satelliten-Tandem dokumentiert den globalen Wandel

Die Satellitenmission GRACE-FO ist gestartet. Am 22. Mai um 21.47 Uhr (MESZ) hoben die beiden Satelliten des GFZ und der NASA an Bord einer Falcon-9-Rakete von der Vandenberg Air Force Base (Kalifornien) ab und wurden in eine polare Umlaufbahn gebracht. Dort nehmen sie in den kommenden Monaten ihre endgültige Position ein. Die NASA meldete 30 Minuten später, dass der Kontakt zu den Satelliten in ihrem Zielorbit erfolgreich hergestellt wurde. GRACE Follow-On wird das Erdschwerefeld und dessen räumliche und zeitliche Variationen sehr genau vermessen. Sie ermöglicht damit präzise Aussagen zum globalen Wandel, insbesondere zu Änderungen im Wasserhaushalt, etwa dem Verlust von Eismassen.

Potsdam, 22. Mai 2018: Die deutsch-amerikanische Satellitenmission GRACE-FO (Gravity Recovery And Climate Experiment Follow On) ist erfolgreich gestartet. Am...

Im Focus: Faserlaser mit einstellbarer Wellenlänge

Faserlaser sind ein effizientes und robustes Werkzeug zum Schweißen und Schneiden von Metallen beispielsweise in der Automobilindustrie. Systeme bei denen die Wellenlänge des Laserlichts flexibel einstellbar ist, sind für spektroskopische Anwendungen und die Medizintechnik interessant. Wissenschaftlerinnen und Wissenschaftler des Leibniz-Instituts für Photonische Technologien (Leibniz-IPHT) haben, im Rahmen des vom Bundesministerium für Bildung und Forschung (BMBF) geförderten Projekts „FlexTune“, ein neues Abstimmkonzept realisiert, das erstmals verschiedene Emissionswellenlängen voneinander unabhängig und zeitlich synchron erzeugt.

Faserlaser bieten im Vergleich zu herkömmlichen Lasern eine höhere Strahlqualität und Energieeffizienz. Integriert in einen vollständig faserbasierten...

Im Focus: LZH zeigt Lasermaterialbearbeitung von morgen auf der LASYS 2018

Auf der LASYS 2018 zeigt das Laser Zentrum Hannover e.V. (LZH) vom 5. bis zum 7. Juni Prozesse für die Lasermaterialbearbeitung von morgen in Halle 4 an Stand 4E75. Mit gesprengten Bombenhüllen präsentiert das LZH in Stuttgart zudem erste Ergebnisse aus einem Forschungsprojekt zur zivilen Sicherheit.

Auf der diesjährigen LASYS stellt das LZH lichtbasierte Prozesse wie Schneiden, Schweißen, Abtragen und Strukturieren sowie die additive Fertigung für Metalle,...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

VideoLinks
Industrie & Wirtschaft
Veranstaltungen

Größter Astronomie-Kongress kommt nach Wien

24.05.2018 | Veranstaltungen

22. Business Forum Qualität: Vom Smart Device bis zum Digital Twin

22.05.2018 | Veranstaltungen

48V im Fokus!

21.05.2018 | Veranstaltungen

VideoLinks
Wissenschaft & Forschung
Weitere VideoLinks im Überblick >>>
 
Aktuelle Beiträge

Das große Aufräumen nach dem Stress

25.05.2018 | Biowissenschaften Chemie

APEX wirft einen Blick ins Herz der Finsternis

25.05.2018 | Physik Astronomie

Weltneuheit im Live-Chat erleben

25.05.2018 | Messenachrichten

Weitere B2B-VideoLinks
IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics