Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Forscher erfassen nur mit Webkamera die Bewegungen einer Person als 3-D-Modell

05.07.2017

Immer mehr Anwendungen erfordern es, eine Person und ihre Bewegungen als digitales 3-D-Modell in Echtzeit zu erfassen: Angefangen bei virtuellen Figuren in Computerspielen, über die Bewegungsanalyse im Sport bis hin zu Untersuchungen in der Medizin. Bisher war dies nur mit teuren Kamera-Systemen möglich. Informatiker des Max-Planck-Instituts für Informatik haben nun ein System entwickelt, das lediglich eine Web-Kamera voraussetzt. Es kann sogar die 3-D-Pose aus einem vorab aufgenommenen Video berechnen, das beispielsweise von der Online-Plattform YouTube stammt. Damit sind völlig neue Anwendungen möglich, unter anderem auch die Bewegungsanalyse per Smartphone.

„Mit unserem System können Sie sogar in den Alpen ein 3-D-Bewegungsmodell erstellen, sogar in Echtzeit und mit der Kamera ihres Smartphones“, sagt Dushyant Mehta, Doktorand am Max-Planck-Institut für Informatik (MPI) die Vorzüge des neuen Systems, das er mit seinen Kollegen aus der Gruppe „Graphics, Vision and Video“ entwickelt hat. Die Gruppe wird von Professor Christian Theobalt geleitet.


Das neue System setzt nur eine preiswerte Web-Kamera voraus, um das 3-D-Bewegungsmodell einer Person in Echtzeit zu erstellen.

Foto: Oliver Dietze

„Bisher war das nur mit mehreren Kameras oder einer so genannten Tiefenkamera möglich, die beispielsweise auch in die Kinect von Microsoft eingebaut ist“, erklärt Srinath Sridhar, der ebenfalls am MPI forscht.

Den Fortschritt ermöglicht eine spezielle Art von neuronalem Netzwerk, das Forscher als „gefaltetes neuronales Netzwerk“ bezeichnen und das in Industrie und Wirtschaft unter dem Begriff „Deep Learning“ für Furore sorgt. Die Saarbrücker Forscher haben eine neue Methode entwickelt, um damit in kürzester Zeit aus den zweidimensionalen Informationen des Videostreams das dreidimensionale Abbild der Person zu berechnen. Wie das konkret aussieht, zeigt ein von den Wissenschaftlern erstelltes Kurzvideo auf ihrer Webseite.

Ein Forscher jongliert mit Keulen in der Tiefe eines Raumes, im Vordergrund zeigt ein Monitor die dazugehörige Videoaufnahme. Die Gestalt des Forschers wird hier von einem feingliedrigen, roten Strichmännchen überlagert. Egal, wie schnell oder wie weit der Forscher ausholt, das Strich-Skelett macht die gleichen Bewegungen, genauso wie die aufgepumpte Version im virtuellen Raum, dargestellt auf einem weiteren Monitor links daneben.

Die Forscher haben ihr System „VNect“ getauft. Bevor es die 3-D-Pose der Person vorhersagt, bestimmt es erst deren Position im Bild. Dadurch verschwendet es keine Rechenkraft für Bildregionen, die nichts von der Person zeigen. Das neuronale Netzwerk wurde dazu mit über zehntausend annotierten Bildern während des Maschinellen Lernens trainiert. So kann es die aktuelle 3-D-Pose in Form der entsprechenden Gelenkwinkel spezifizieren, die sich leicht in virtuelle Figuren überführen lassen.

„Mit VNect können in Zukunft noch mehr Menschen Computerspiele per Körperbewegung steuern. Sie brauchen weder eine eine teure Tiefenkamera, mehrere Kameras, noch müssen sie spezielle Marker tragen. Ihre Web-Kamera genügt. Damit sind sogar völlig neue Erfahrungen in der Virtuellen Realität möglich“, erklärt Mehta. Darüber hinaus ist VNect auch das erste System, das lediglich ein Video benötigt, um daraus das 3-D-Bewegungsmodell einer Person zu erstellen.

„Das Spektrum der möglichen Anwendungen für VNect ist daher enorm groß“, erklärt Professor Christian Theobalt, der die Gruppe „Graphics, Vision and Video“ am MPI leitet. „Die Bandbreite reicht von Mensch-Maschine-Interaktion zu Mensch-Roboter-Interaktion bis hin zu Industrie 4.0, wo Mensch und Roboter Seite an Seite arbeiten. Oder denken Sie an Autonomes Fahren. In Zukunft könnte das Auto mit Hilfe der Kamera die Bewegungen von Personen erfassen, um so auf deren Verhalten zu schließen“, so Professor Theobalt.

Noch stößt VNect jedoch auch an Grenzen. Die Genauigkeit des neuen Systems ist etwas geringer als die Genauigkeit von Systemen, die auf mehreren Kameras oder Markern basieren. VNect gerät auch in Schwierigkeiten, wenn das Gesicht der Person verdeckt ist und wenn die Bewegungen zu schnell sind oder zu wenig den gelernten Vorbildern entsprechen. Mehrere Personen vor der Kamera bereiten VNect ebenfalls Probleme.

Dennoch ist sich MPI-Forscher Srinath Sridhar sicher, dass sich VNect weiterentwickeln wird und bald so komplexe Szenen verarbeiten kann, dass es ohne Problem im Alltag einsetzbar ist.

VNect wurde unter der Leitung von Professor Christian Theobalt in der Gruppe „Graphics, Vision and Video“ am Max-Planck-Institut für Informatik umgesetzt. An dem Projekt wirkten neben Srinath Sridhar und Dushyant Mehta auch Oleksandr Sotnychenko, Helge Rhodin, Mohammad Shafiei, Professor Hans-Peter Seidel, Weipeng Xu und Dan Casas. Die Forscher werden VNect auf der größten Computer Vision Konferenz CVPR, im US-amerikanischen Honolulu, vom 21. bis 26. Juli, und auf der renommierten, internationalen Konferenz „SIGGRAPH“ in der US-amerikanischen Stadt Los Angeles vom 30. Juli bis 3. August zeigen.

Fragen beantworten:
Dushyant Mehta
Max-Planck-Institut für Informatik
Saarland Informatics Campus
Tel.: +49 681 9325 4022
E-mail: dmehta@mpi-inf.mpg.de

Professor Christian Theobalt
Max-Planck-Institut für Informatik
Saarland Informatics Campus
Tel.: +49 681 9325 4028
E-mail: theobalt@mpii.de

Weitere Informationen:

http://gvv.mpi-inf.mpg.de/projects/VNect/

Thorsten Mohr | Universität des Saarlandes
Weitere Informationen:
http://www.uni-saarland.de

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Hochautomatisiertes Fahren bei Schnee und Regen: Robuste Warnehmung dank intelligentem Sensormix
18.09.2017 | FOKUS - Fraunhofer-Institut für Offene Kommunikationssysteme

nachricht KATWARN warnt auch in Fremdsprachen
14.09.2017 | FOKUS - Fraunhofer-Institut für Offene Kommunikationssysteme

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Wundermaterial Graphen: Gewölbt wie das Polster eines Chesterfield-Sofas

Graphen besitzt extreme Eigenschaften und ist vielseitig verwendbar. Mit einem Trick lassen sich sogar die Spins im Graphen kontrollieren. Dies gelang einem HZB-Team schon vor einiger Zeit: Die Physiker haben dafür eine Lage Graphen auf einem Nickelsubstrat aufgebracht und Goldatome dazwischen eingeschleust. Im Fachblatt 2D Materials zeigen sie nun, warum dies sich derartig stark auf die Spins auswirkt. Graphen kommt so auch als Material für künftige Informationstechnologien infrage, die auf der Verarbeitung von Spins als Informationseinheiten basieren.

Graphen ist wohl die exotischste Form von Kohlenstoff: Alle Atome sind untereinander nur in der Ebene verbunden und bilden ein Netz mit sechseckigen Maschen,...

Im Focus: Hochautomatisiertes Fahren bei Schnee und Regen: Robuste Warnehmung dank intelligentem Sensormix

Schlechte Sichtverhältnisse bei Regen oder Schnellfall sind für Menschen und hochautomatisierte Fahrzeuge eine große Herausforderung. Im europäischen Projekt RobustSENSE haben die Forscher von Fraunhofer FOKUS mit 14 Partnern, darunter die Daimler AG und die Robert Bosch GmbH, in den vergangenen zwei Jahren eine Softwareplattform entwickelt, auf der verschiedene Sensordaten von Kamera, Laser, Radar und weitere Informationen wie Wetterdaten kombiniert werden. Ziel ist, eine robuste und zuverlässige Wahrnehmung der Straßensituation unabhängig von der Komplexität und der Sichtverhältnisse zu gewährleisten. Nach der virtuellen Erprobung des Systems erfolgt nun der Praxistest, unter anderem auf dem Berliner Testfeld für hochautomatisiertes Fahren.

Starker Schneefall, ein Ball rollt auf die Fahrbahn: Selbst ein Mensch kann mitunter nicht schnell genug erkennen, ob dies ein gefährlicher Gegenstand oder...

Im Focus: Ultrakurze Momentaufnahmen der Dynamik von Elektronen in Festkörpern

Mit Hilfe ultrakurzer Laser- und Röntgenblitze haben Wissenschaftler am Max-Planck-Institut für Quantenoptik (Garching bei München) Schnappschüsse der bislang kürzesten Bewegung von Elektronen in Festkörpern gemacht. Die Bewegung hielt 750 Attosekunden lang an, bevor sie abklang. Damit stellten die Wissenschaftler einen neuen Rekord auf, ultrakurze Prozesse innerhalb von Festkörpern aufzuzeichnen.

Wenn Röntgenstrahlen auf Festkörpermaterialien oder große Moleküle treffen, wird ein Elektron von seinem angestammten Platz in der Nähe des Atomkerns...

Im Focus: Ultrafast snapshots of relaxing electrons in solids

Using ultrafast flashes of laser and x-ray radiation, scientists at the Max Planck Institute of Quantum Optics (Garching, Germany) took snapshots of the briefest electron motion inside a solid material to date. The electron motion lasted only 750 billionths of the billionth of a second before it fainted, setting a new record of human capability to capture ultrafast processes inside solids!

When x-rays shine onto solid materials or large molecules, an electron is pushed away from its original place near the nucleus of the atom, leaving a hole...

Im Focus: Quantensensoren entschlüsseln magnetische Ordnung in neuartigem Halbleitermaterial

Physiker konnte erstmals eine spiralförmige magnetische Ordnung in einem multiferroischen Material abbilden. Diese gelten als vielversprechende Kandidaten für zukünftige Datenspeicher. Der Nachweis gelang den Forschern mit selbst entwickelten Quantensensoren, die elektromagnetische Felder im Nanometerbereich analysieren können und an der Universität Basel entwickelt wurden. Die Ergebnisse von Wissenschaftlern des Departements Physik und des Swiss Nanoscience Institute der Universität Basel sowie der Universität Montpellier und Forschern der Universität Paris-Saclay wurden in der Zeitschrift «Nature» veröffentlicht.

Multiferroika sind Materialien, die gleichzeitig auf elektrische wie auch auf magnetische Felder reagieren. Die beiden Eigenschaften kommen für gewöhnlich...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

»Laser in Composites Symposium« in Aachen – von der Wissenschaft in die Anwendung

19.09.2017 | Veranstaltungen

Biowissenschaftler tauschen neue Erkenntnisse über molekulare Gen-Schalter aus

19.09.2017 | Veranstaltungen

Zwei Grad wärmer – und dann?

19.09.2017 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

»Laser in Composites Symposium« in Aachen – von der Wissenschaft in die Anwendung

19.09.2017 | Veranstaltungsnachrichten

Zentraler Schalter der Immunabwehr gefunden

19.09.2017 | Biowissenschaften Chemie

Neue Materialchemie für Hochleistungsbatterien

19.09.2017 | Biowissenschaften Chemie