Handy als Bildtelefon

Das Gesicht des Gesprächspartners auf dem Handydisplay: Er lächelt, lacht oder reagiert mit fragendem Blick auf das zuletzt Gesagte. Ein Verfahren aus dem Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut HHI macht es möglich, diese Bilder per Mobilfunk zu übertragen. Das MPEG-4-Streaming-System ist eines der zahlreichen Exponate, die unter dem Motto „interaktiv sehen“ in Halle 5.3 auf der Internationalen Funkausstellung IFA 2003 in Berlin gezeigt werden (29.8.-3.9.2003).

Bildtelefonie und Datenkompression – beides Themen, die für Multimedia-Anwendungen von Bedeutung sind. „Wir haben einen MPEG-4-Player entwickelt, mit dem Kopf-Schulter-Szenen auch bei Datenraten von wenigen kbit/s übertragen werden können“, so Dr. Peter Eisert vom HHI. Damit lassen sich Mimik, Mundbewegung und Sprache selbst auf Handys und Pocket-PCs übertragen, die oft über Netze mit geringen Datenraten angebunden sind. Der Trick der Forscher: Anstatt die Sequenz mit herkömmlichen Verfahren zur Datenkompression, wie beispielsweise MPEG-2, direkt zu codieren, wird zu Beginn des Gesprächs einmalig ein 3-D-Computermodell der Person übertragen. Im Folgenden reichen 3-D-Bewegungs- und Mimikparameter aus den Kameraansichten aus, um einen durchgängig lebensechten und synchronen Sprecher auf dem Display zu sehen und zu hören. Basis dafür sind am HHI entwickelte Algorithmen zur Analyse und Visualisierung von Gesichtsmimik und 3-D-Bildern. Außerdem wird vom HHI ein neuartiges MPEG-4-Streaming eingesetzt, das die Echtzeitdarstellung von Videodaten und 3-D-Szenenstrukturen unterstützt.

Die Modelle lassen sich beliebig austauschen, das heißt eine Person kann mit den Bewegungen einer anderen Person dargestellt werden. Dann wird aus dem anrufenden Nachbarn plötzlich ein bekannter Politiker – neue Tricks für die Filmbranche. Auch aktuelle Nachrichtensendungen und andere Animationen können in guter Qualität auf tragbaren Endgeräten gezeigt; von der virtuellen Freundin, dem virtuellen Freund vorgelesen werden. Darüber hinaus lassen sich virtuelle Agenten und benutzerfreundliche Mensch-Maschine-Schnittstellen realisieren. Eine Kommunikation mit dem Computer erfolgt dann nicht mehr per Maus, Tastatur und Textmeldungen, sondern in einem natürlichen Dialog mit dem Agenten. Reaktionen und Emotionen des Anwenders können mit berücksichtigt werden. In der Kommunikation nützlich, eröffnet die dreidimensionale Vermessung von Gesichtsmimik aber auch neue Möglichkeiten für Diagnose und Therapie in medizinischen Anwendungen.

Dieses und weitere Exponate, beispielsweise einen PC-basierten Mixed-Reality Arbeitsplatz, zeigen die Fraunhofer-Institute unter dem Motto „interaktiv sehen“ in Halle 5.3 auf der Internationalen Funkausstellung IFA 2003 in Berlin.

Ansprechpartner:

Dr. Peter Eisert
Telefon 030 – 31002-614
Fax 030 – 39272-00
eisert@hhi.fraunhofer.de