"VideoMocap" macht 2D-Videos zu 3D-Animationen

Informatiker an der Texas A&M University haben ein System entwickelt, das aus jeglichem 2D-Video 3D-Animationen menschlicher Bewegungen rekonstruiert. Die Methode funktioniert bei einfachem Gehen ebenso wie bei den akrobatischen Darbietungen von Turnern oder dem schnellen Schlagabtausch von Fechtern. Das Ergebnis kann man sich aus einem beliebigen Blickwinkel ansehen.

Den großen Vorteil gegenüber herkömmlichen Motion-Capture-Verfahren sehen die Wissenschaftler darin, dass keine klobige oder genau zu kalibrierende Ausrüstung erforderlich ist. Vielmehr funktioniert ihr Ansatz auch mit Archivvideos oder aus dem Internet herunter geladenen Clips, so die Informatiker Xiaolin Wei und Jinxiang Chai in einem Fachbeitrag für die Computergrafik-Konferenz SIGGRAPH.

Schlüssel zur Animation

Das System erfordert als Ausgangspunkt für die Rekonstruktion einige so genannte Keyframes. Das sind Einzelbilder, in denen der Nutzer die Software mit grundlegenden Informationen versorgt. Diese Angaben umfassen die Position von Gelenken, Armen und Beinen ebenso wie Kontaktpunkte beispielsweise zu gehaltenen Objekten. Wie viele Keyframes nötig sind, hängt von der Art der Bewegung ab. Das Fechter-Beispiel etwa erfordert sechs Keyframes bei 92 Einzelbildern, während ein Testvideo mit alltäglichen Bewegungen bei insgesamt 585 Frames mit insgesamt elf Schlüsselbildern auskommt.

Zunächst schätzt das System die Größe des 3D-Skeletts ab. Dann verfolgen Algorithmen die Position der Gelenke in den restlichen Frames des Videos. Die Software fragt den User nötigenfalls nach Korrekturen, wenn es Schwierigkeiten mit dem Tracking hat. Zudem kommen dynamische Bewegungsmodelle zum Einsatz, damit die rekonstruierte 3D-Animationen möglichst flüssig und realistisch wird. Sie kann dann auch aus völlig anderen Winkeln betrachtet werden, als sie das Originalvideo vorgibt.

Vielseitiges Anwendungspotenzial

Die Informatiker haben in Experimenten gezeigt, dass ihr Ansatz bei Hüpfbewegungen, einem Gewichtheber und einer Turnerin am Stufenbarren gute Ergebnisse liefert. Das gilt unabhängig davon, ob die Kamera positionsfest oder bewegt war. Der Ansatz sollte auch für Bewegungen diverser Tiere geeignet sein, so die Forscher. Denn der Zugang erfordert keine Vorab-Annahmen über Form und Größe des 3D-Skeletts.

Das System ist zur Einbindung in Animations-Softwarepakete geeignet, so Wei gegenüber dem New Scientist. Davon könnten Profis ebenso wie Amateure profitieren. Videos als Ersatz für klassische Motion Capture werden nicht nur in Texas erforscht. Ein britisches Team hat dieses Jahr schon eine Software vorgestellt, mit der sich dan herkömmlichen Videos realistische Bäume erstellen lassen (pressetext berichtete: http://www.pressetext.com/news/100130003/).

Demo-Video zu VideoMocap:
http://students.cse.tamu.edu/xwei/publications/SIG10_wei.mov
SIGGRAPH-Paper als PDF:
http://students.cse.tamu.edu/xwei/publications/sig10_wei.pdf