Mit regulären Videokameras die Bewegungen von Schauspielern und Sportlern in Echtzeit erfassen

Die digital animierte Komödie „Ted“ läuft gerade in deutschen Kinos. Ihr eigentlicher Star ist der gleichnamige Teddybär, den sich John Bennett (gespielt von Mark Wahlberg) als Kind wünschte und nun auch noch als Erwachsener erträgt. Solche Art von Computergrafik gehört zum Standard bei Kinofilmen seit der Kinofilm „Avatar – Aufbruch nach Pandora“ mit seinen blauhäutigen, digital animierten Figuren drei Oscars gewann und weltweit rund drei Milliarden US-Dollar einspielte.

Teilen sich bei „Ted“ und „Piraten der Karibik“ noch Schauspieler aus Blut und Fleisch mit digitalen Kollegen die Leinwand, setzte der renommierte Regisseur Steven Spielberg bei „Tim und Struppi“ ganz auf virtuelle Darsteller. Sie wurden wie Ted per Motion-Capture-Verfahren zum Leben erweckt. Ein Schauspieler schlüpft dazu in einen Anzug, der mit Markern beklebt ist. Diese reflektieren Infrarotlicht, das von einem speziellen Kamera-System ausgestrahlt und empfangen wird. Auf diese Weise können die Bewegungen des realen Schauspielers erfasst und später mit einer Animationssoftware auf die virtuelle Figur übertragen werden.

„Die Schauspieler mögen Motion-Capturing nicht. Die Anzüge sind unangenehm zu tragen und die Marker behindern sie in ihren Bewegungen“, erklärt Christian Theobalt, Professor für Informatik an der Universität des Saarlandes und Leiter der Forschergruppe „Graphics, Vision & Video“ am Max-Planck-Institut für Informatik (MPI). Das habe sich seit dem computeranimierten Charakter „Gollum“ aus der Filmtrilogie „Herr der Ringe“ nicht geändert. Theobalt hat zusammen mit seinen MPI-Kollegen Nils Hasler, Carsten Stoll und Jürgen Gall von der Eidgenössischen Technischen Hochschule Zürich ein neues Verfahren entwickelt, das nicht nur ohne Marker auskommt, sondern die Bewegungen auch noch viel schneller erfasst. „Das wissenschaftlich Neue ist die Art und Weise, wie wir die gefilmte Szene im Computer repräsentieren und berechnen. Daraus resultiert dann auch die hohe Geschwindigkeit, mit der wir Bewegung erfassen und darstellen können“, erklärt Theobalt.

In der Realität sieht das dann so aus: Videokameras filmen im Labor einen Sportler beim Rad schlagen. Der Computer berechnet auf Basis der aufgenommenen Bilder das Bewegungsskelett so schnell, dass für den Betrachter keine Verzögerung zwischen der gefilmten Bewegung und dem darübergelegten knallroten Bewegungsskelett erkennbar ist. Und aufgrund der neuen mathematischen Repräsentation funktioniert dies laut Aussage von Theobalt auch, wenn die Bewegungen von mehr als nur einer Person erfasst werden sollen, diese teilweise durch im Raum stehende Objekte verdeckt werden oder vor einem unruhigen Hintergrund stattfinden. „Wir sind überzeugt, dass mit diesem Ansatz sogar Motion-­Capturing in der freien Natur, beispielsweise in einem Olympiastadion möglich ist“, erklärt Theobalt.
Athleten könnten es nutzen, um schneller zu rennen, höher zu springen und weiter zu werfen. Vor den Fernsehgeräten und vor Ort könnten Zuschauer mithilfe der Technologie herausfinden, was den Unterschied zwischen erstem und zweitem Platz ausmachte. Auch die Medizin könnte davon profitieren. Ärzte wiederum könnten mit dem Ansatz den Heilungserfolg nach Operationen an Gelenken analysieren, so Theobalt. Seine MPI-Kollegen Nils Hasler und Carsten Stoll wollen nun eine Firma gründen, um aus der bisherigen Software ein kommerzielles Produkt zu machen. „Es haben bereits erste Gespräche mit Unternehmen aus Hollywood stattgefunden“, verrät Theobalt.

Technischer Hintergrund
Die für den Ansatz notwendige Technik ist recht preiswert. Lediglich normale Videokameras, die zu exakt gleichen Zeitpunkten filmen, sind notwendig. Laut Aussagen der Max-Planck-Forscher funktioniert das Verfahren ab fünf Kameras, ihre Ergebnisse erzielten sie mit zwölf Geräten. Entscheidend sei die mathematische Repräsentation der Videobilder, des Schauspielers und die weitere Berechnung. Dazu erstellen die Informatiker ein 3-D-Modell des zu erfassenden Darstellers aus einem Bewegungsskelett mit 58 Gelenken. Die Proportionen des Körpers modellieren sie als Summe einer dreidimensionalen Gaußfunktion, die visualisiert wie Kugeln aussehen. Deren Radius variieren sie nach den Maßen der realen Person. Das resultierende 3-D-Modell ähnelt somit dem Maskottchen eines bekannten Reifenherstellers. Die zur realen Person gehörenden Bildpunkte auf den von den Videokameras aufgenommenen Bildern werden ebenfalls in „Gauße“ umgeformt. Sie überdecken Bildbereiche, die sich durch den gleichen Farbwert definieren.

Um die Bewegungen zu erfassen, arbeitet das Rechenverfahren kontinuierlich daraufhin, dass sich die „Gauße“ aus 2-D- und 3-D-Bild möglichst passgenau überlagern. Die dazu notwendigen Vergleiche können die Saarbrücker auf mathematischem Wege effizient und schnell lösen. Auf diese Weise können sie die gefilmte Bewegung erfassen und in Echtzeit visualisieren.

Informatik-Forschung auf dem Campus der Universität des Saarlandes
Das Max-Planck-Institut für Informatik ist nicht die einzige Einrichtung, die auf dem Campus der Universität des Saarlandes neue Aspekte der Informatik erforscht. Nur wenige Meter entfernt haben ebenfalls ihren Sitz: der Fachbereich Informatik der Universität des Saarlandes, das Max-Planck-Institut für Software Systeme, das Zentrum für Bioinformatik, das Center for IT-Security, Privacy and Accountability, der erneut bewilligte Exzellenzcluster „Multimodal Computing and Interaction“, das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) und das Intel Visual Computing Institute.

Weitere Informationen:
Carsten Stoll, Nils Hasler, Juergen Gall, Hans-Peter Seidel, Christian Theobalt,
Fast Articulated Motion Tracking using a Sums of Gaussians Body Model
http://www.mpi-inf.mpg.de/~theobalt/sog.pdf

Online-Video
http://www.mpi-inf.mpg.de/~theobalt/sog.mp4

Weitere Fragen beantworten:

Prof. Dr. Christian Theobalt
Campus E1 4
66123 Saarbrücken
E-Mail: theobalt@mpii.de
Tel.: 0681 9325-428

Gordon Bolduan
Forschungskommunikation
Cluster of Excellence „Multimodal Computing and Interaction“
E-Mail: bolduan@mmci.uni-saarland.de
Tel.: 0681 302-70741