Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Computerprogramm schaut fünf Minuten in die Zukunft

13.06.2018

Informatiker der Universität Bonn haben eine Software entwickelt, die ein paar Minuten in die Zukunft blicken kann: Das Programm lernt zunächst aus Videosequenzen die typische Abfolge von Aktionen, etwa beim Kochen. Basierend auf diesem Wissen kann es dann auch in neuen Situationen treffsicher vorhersagen, wann der Küchenchef was machen wird. Die Forscher präsentieren ihre Ergebnisse auf der weltgrößten Konferenz für digitales Sehen und Mustererkennung, die vom 19. bis 21. Juni in Salt Lake City (USA) stattfindet.

Der perfekte Butler, das weiß jeder Fan britischer Gesellschaftsdramen, hat eine besondere Fähigkeit: Er ahnt die Wünsche seines Arbeitgebers, bevor dieser sie ausspricht. Die Arbeitsgruppe von Prof. Dr. Jürgen Gall möchte Computern Ähnliches beibringen: „Wir wollen Zeitpunkt und Dauer von Handlungen vorhersagen – und zwar Minuten oder sogar Stunden, bevor sie stattfinden“, erklärt er.


Was passiert als nächstes? Prof. Dr. Jürgen Gall (rechts) und Yazan Abu Farha vom Institut für Informatik der Universität Bonn.

© Foto: Barbara Frommann/Uni Bonn

Ein Küchenroboter könnte dann zum Beispiel die Zutaten reichen, sobald sie gebraucht werden, rechtzeitig den Backofen vorheizen – und zwischendurch den Küchenchef warnen, wenn der einen Zubereitungsschritt zu vergessen droht. Der automatische Staubsauger wüsste derweil, dass er zu dieser Zeit in der Küche nichts zu suchen hat, und kümmert sich stattdessen ums Wohnzimmer.

Wir Menschen sind sehr gut darin, Handlungen anderer zu antizipieren. Bei Computern steckt diese Disziplin jedoch noch in den Kinderschuhen. Die Forscher am Institut für Informatik der Universität Bonn können nun aber einen ersten Erfolg vermelden: Sie haben eine selbst lernende Software entwickelt, die Zeitpunkt und Dauer künftiger Aktionen erstaunlich genau abschätzen kann – und das immerhin über Zeiträume von mehreren Minuten.

Trainingsdaten: vier Stunden Salat-Videos

Als Trainingsdaten dienten den Wissenschaftlern unter anderem 40 Videos, in denen Darsteller unterschiedliche Salate zubereiteten. Jede der Aufzeichnungen war rund 6 Minuten lang und enthielt im Schnitt 20 verschiedene Aktionen. Die Videos enthielten zudem genaue Angaben, zu welcher Zeit welche Aktion startete und wie lang sie dauerte.

Der Rechner „schaute“ sich diese insgesamt rund vier Stunden Salat-Videos an. Der Algorithmus erlernte so, welche Aktionen bei dieser Aufgabe typischerweise aufeinander folgen und wie lange diese dauern. Das ist beileibe nicht trivial: Schließlich hat jeder Koch seine individuelle Vorgehensweise. Außerdem kann die Abfolge je nach Rezept variieren.

„Danach haben wir getestet, wie erfolgreich der Lernvorgang war“, erklärt Gall. „Dazu haben wir die Software mit Videos konfrontiert, die sie zuvor noch nicht gesehen hatte.“ Immerhin passten die neuen Kurzfilme in den Kontext: Auch sie zeigten die Zubereitung eines Salats. Für den Test wurde dem Computer mitgeteilt, was in den ersten 20 oder 30 Prozent eines dieser neuen Videos zu sehen war. Auf dieser Basis musste er dann vorhersagen, was im restlichen Film passieren würde.

Das klappte erstaunlich gut. Gall: „Die Genauigkeit lag für kurze Prognose-Zeiträume bei über 40 Prozent, sank dann aber umso mehr ab, je weiter der Algorithmus in die Zukunft blicken musste.“ Bei Handlungen, die mehr als drei Minuten in der Zukunft lagen, lag der Rechner noch in 15 Prozent der Fälle richtig. Allerdings galt die Prognose auch nur dann als korrekt, wenn sowohl die Aktion als auch ihr Zeitpunkt richtig vorhergesagt wurde.

Gall und seine Mitarbeiter wollen die Studie nur als einen ersten Schritt in das neue Gebiet der Handlungsvorhersage verstanden wissen. Zumal der Algorithmus spürbar schlechter abschneidet, wenn er selber erkennen muss, was sich im ersten Teil des Videos abspielt, und das nicht gesagt bekommt. Denn diese Analyse ist nie zu 100 Prozent korrekt – Gall spricht von „verrauschten“ Daten. „Unser Verfahren funktioniert damit zwar auch“, sagt er. „Aber leider noch längst nicht so gut.“

Die Studie ist im Rahmen einer Forschergruppe entstanden, die sich der Vorhersage menschlichen Verhaltens widmet und die von der Deutschen Forschungsgemeinschaft (DFG) finanziell unterstützt wird.

Publikation: Yazan Abu Farha, Alexander Richard und Jürgen Gall: When will you do what? - Anticipating Temporal Occurrences of Activities. IEEE Conference on Computer Vision and Pattern Recognition 2018; http://pages.iai.uni-bonn.de/gall_juergen/download/jgall_anticipation_cvpr18.pdf

Beispiele für Test-Videos und die daraus abgeleiteten Prognosen gibt es unter https://www.youtube.com/watch?v=xMNYRcVH_oI

Kontakt:

Prof. Dr. Jürgen Gall
Institut für Informatik
Universität Bonn
Tel. 0228/7369600
E-Mail: gall@informatik.uni-bonn.de

Johannes Seiler | idw - Informationsdienst Wissenschaft

Weitere Berichte zu: Computer Computer Vision Computerprogramm DFG IEEE Software Staubsauger Trainingsdaten

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Pflanzenbestimmung mit Flora Incognita App im März verzehnfacht
03.04.2020 | Technische Universität Ilmenau

nachricht Mit haptischen Reizen tiefer in virtuelle Welten eintauchen
03.04.2020 | Hochschule Bonn-Rhein-Sieg

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Den Regen für Hydrovoltaik nutzen

Wassertropfen, die auf Oberflächen fallen oder über sie gleiten, können Spuren elektrischer Ladung hinterlassen, so dass sich die Tropfen selbst aufladen. Wissenschaftlerinnen und Wissenschaftler des Max-Planck-Instituts für Polymerforschung (MPI-P) in Mainz haben dieses Phänomen, das uns auch in unserem Alltag begleitet, nun detailliert untersucht. Sie entwickelten eine Methode zur Quantifizierung der Ladungserzeugung und entwickelten zusätzlich ein theoretisches Modell zum besseren Verständnis. Nach Ansicht der Wissenschaftler könnte der beobachtete Effekt eine Möglichkeit zur Energieerzeugung und ein wichtiger Baustein zum Verständnis der Reibungselektrizität sein.

Wassertropfen, die über nicht leitende Oberflächen gleiten, sind überall in unserem Leben zu finden: Vom Tropfen einer Kaffeemaschine über eine Dusche bis hin...

Im Focus: Harnessing the rain for hydrovoltaics

Drops of water falling on or sliding over surfaces may leave behind traces of electrical charge, causing the drops to charge themselves. Scientists at the Max Planck Institute for Polymer Research (MPI-P) in Mainz have now begun a detailed investigation into this phenomenon that accompanies us in every-day life. They developed a method to quantify the charge generation and additionally created a theoretical model to aid understanding. According to the scientists, the observed effect could be a source of generated power and an important building block for understanding frictional electricity.

Water drops sliding over non-conducting surfaces can be found everywhere in our lives: From the dripping of a coffee machine, to a rinse in the shower, to an...

Im Focus: Quantenimaging: Unsichtbares sichtbar machen

Verschränkte Lichtteilchen lassen sich nutzen, um Bildgebungs- und Messverfahren zu verbessern. Ein Forscherteam am Fraunhofer-Institut für Angewandte Optik und Feinmechanik IOF in Jena hat eine Quantenimaging-Lösung entwickelt, die in extremen Spektralbereichen und mit weniger Licht genaueste Einblicke in Gewebeproben ermöglichen kann.

Optische Analyseverfahren wie Mikroskopie und Spektroskopie sind in sichtbaren Wellenlängenbereichen schon äußerst effizient. Doch im Infrarot- oder...

Im Focus: Sensationsfund: Spuren eines Regenwaldes in der Westantarktis

90 Millionen Jahre alter Waldboden belegt unerwartet warmes Südpol-Klima in der Kreidezeit

Ein internationales Forscherteam unter Leitung von Geowissenschaftlern des Alfred-Wegener-Institutes, Helmholtz-Zentrum für Polar- und Meeresforschung (AWI)...

Im Focus: A sensational discovery: Traces of rainforests in West Antarctica

90 million-year-old forest soil provides unexpected evidence for exceptionally warm climate near the South Pole in the Cretaceous

An international team of researchers led by geoscientists from the Alfred Wegener Institute, Helmholtz Centre for Polar and Marine Research (AWI) have now...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

VideoLinks
Industrie & Wirtschaft
Veranstaltungen

Interdisziplinärer Austausch zum Design elektrochemischer Reaktoren

03.04.2020 | Veranstaltungen

13. »AKL – International Laser Technology Congress«: 4.–6. Mai 2022 in Aachen – Lasertechnik Live bereits früher!

02.04.2020 | Veranstaltungen

Europäischer Rheumatologenkongress EULAR 2020 wird zum Online-Kongress

30.03.2020 | Veranstaltungen

VideoLinks
Wissenschaft & Forschung
Weitere VideoLinks im Überblick >>>
 
Aktuelle Beiträge

Erste SARS-CoV-2-Genome aus Österreich veröffentlicht

03.04.2020 | Biowissenschaften Chemie

Projekt »Lade-PV« gestartet: Fahrzeugintegrierte PV für Elektro-Nutzfahrzeuge

03.04.2020 | Energie und Elektrotechnik

Interdisziplinärer Austausch zum Design elektrochemischer Reaktoren

03.04.2020 | Veranstaltungsnachrichten

Weitere B2B-VideoLinks
IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics