Computerprogramm schaut fünf Minuten in die Zukunft

Der perfekte Butler, das weiß jeder Fan britischer Gesellschaftsdramen, hat eine besondere Fähigkeit: Er ahnt die Wünsche seines Arbeitgebers, bevor dieser sie ausspricht. Die Arbeitsgruppe von Prof. Dr. Jürgen Gall möchte Computern Ähnliches beibringen: „Wir wollen Zeitpunkt und Dauer von Handlungen vorhersagen – und zwar Minuten oder sogar Stunden, bevor sie stattfinden“, erklärt er.

Ein Küchenroboter könnte dann zum Beispiel die Zutaten reichen, sobald sie gebraucht werden, rechtzeitig den Backofen vorheizen – und zwischendurch den Küchenchef warnen, wenn der einen Zubereitungsschritt zu vergessen droht. Der automatische Staubsauger wüsste derweil, dass er zu dieser Zeit in der Küche nichts zu suchen hat, und kümmert sich stattdessen ums Wohnzimmer.

Wir Menschen sind sehr gut darin, Handlungen anderer zu antizipieren. Bei Computern steckt diese Disziplin jedoch noch in den Kinderschuhen. Die Forscher am Institut für Informatik der Universität Bonn können nun aber einen ersten Erfolg vermelden: Sie haben eine selbst lernende Software entwickelt, die Zeitpunkt und Dauer künftiger Aktionen erstaunlich genau abschätzen kann – und das immerhin über Zeiträume von mehreren Minuten.

Trainingsdaten: vier Stunden Salat-Videos

Als Trainingsdaten dienten den Wissenschaftlern unter anderem 40 Videos, in denen Darsteller unterschiedliche Salate zubereiteten. Jede der Aufzeichnungen war rund 6 Minuten lang und enthielt im Schnitt 20 verschiedene Aktionen. Die Videos enthielten zudem genaue Angaben, zu welcher Zeit welche Aktion startete und wie lang sie dauerte.

Der Rechner „schaute“ sich diese insgesamt rund vier Stunden Salat-Videos an. Der Algorithmus erlernte so, welche Aktionen bei dieser Aufgabe typischerweise aufeinander folgen und wie lange diese dauern. Das ist beileibe nicht trivial: Schließlich hat jeder Koch seine individuelle Vorgehensweise. Außerdem kann die Abfolge je nach Rezept variieren.

„Danach haben wir getestet, wie erfolgreich der Lernvorgang war“, erklärt Gall. „Dazu haben wir die Software mit Videos konfrontiert, die sie zuvor noch nicht gesehen hatte.“ Immerhin passten die neuen Kurzfilme in den Kontext: Auch sie zeigten die Zubereitung eines Salats. Für den Test wurde dem Computer mitgeteilt, was in den ersten 20 oder 30 Prozent eines dieser neuen Videos zu sehen war. Auf dieser Basis musste er dann vorhersagen, was im restlichen Film passieren würde.

Das klappte erstaunlich gut. Gall: „Die Genauigkeit lag für kurze Prognose-Zeiträume bei über 40 Prozent, sank dann aber umso mehr ab, je weiter der Algorithmus in die Zukunft blicken musste.“ Bei Handlungen, die mehr als drei Minuten in der Zukunft lagen, lag der Rechner noch in 15 Prozent der Fälle richtig. Allerdings galt die Prognose auch nur dann als korrekt, wenn sowohl die Aktion als auch ihr Zeitpunkt richtig vorhergesagt wurde.

Gall und seine Mitarbeiter wollen die Studie nur als einen ersten Schritt in das neue Gebiet der Handlungsvorhersage verstanden wissen. Zumal der Algorithmus spürbar schlechter abschneidet, wenn er selber erkennen muss, was sich im ersten Teil des Videos abspielt, und das nicht gesagt bekommt. Denn diese Analyse ist nie zu 100 Prozent korrekt – Gall spricht von „verrauschten“ Daten. „Unser Verfahren funktioniert damit zwar auch“, sagt er. „Aber leider noch längst nicht so gut.“

Die Studie ist im Rahmen einer Forschergruppe entstanden, die sich der Vorhersage menschlichen Verhaltens widmet und die von der Deutschen Forschungsgemeinschaft (DFG) finanziell unterstützt wird.

Publikation: Yazan Abu Farha, Alexander Richard und Jürgen Gall: When will you do what? – Anticipating Temporal Occurrences of Activities. IEEE Conference on Computer Vision and Pattern Recognition 2018; http://pages.iai.uni-bonn.de/gall_juergen/download/jgall_anticipation_cvpr18.pdf

Beispiele für Test-Videos und die daraus abgeleiteten Prognosen gibt es unter https://www.youtube.com/watch?v=xMNYRcVH_oI

Kontakt:

Prof. Dr. Jürgen Gall
Institut für Informatik
Universität Bonn
Tel. 0228/7369600
E-Mail: gall@informatik.uni-bonn.de