System gehorcht auf Fingerzeig – Softwaresteuerung durch Gesten

Touch-Displays sind auf dem Vormarsch und haben die klassische Eingabe per Maus und Tastatur bereits in einigen Domänen fast verdrängt. Als Durchbruch gilt das iPhone, das Apple im Sommer 2007 auf den Markt brachte. Seitdem wurden zahlreiche ähnliche Geräte mit vergleichbaren Eigenschaften erfolgreich lanciert. Neuere Generationen unterstützen sogar die Bedienung von mehreren Personen gleichzeitig, sind also Multi-User tauglich, etwa der Microsoft Surface, eine Art Computer-Tisch, bei dem die komplette Oberfläche zur Eingabe genutzt werden kann. Naturgemäß ist diese Interaktionsform auf zweidimensionale Oberflächen zugeschnitten.

Einen Schritt in die Zukunft weist der Prototyp einer berührungslosen 3D-Multi-Touch-Umgebung, der von Fraunhofer FIT realisiert wurde. Unter Multi-Touch versteht man in diesem Zusammenhang, dass mehrere Finger beider Hände gleichzeitig das Objekt „berühren“ und durch Bewegungen oder Gesten manipulieren können. In unserem Falle Hand- und Fingergesten in der Luft, die das System erkennt und entsprechend interpretiert.

Kinofans erinnern sich vermutlich noch lebhaft an den Science-Fiction-Thriller „Minority Report“ aus 2002, in dem Tom Cruise in einer 3D-Software-Arena zahlreiche Programme in atemberaubender Geschwindigkeit bediente – allerdings mit Spezialhandschuhen, die ihm lediglich das Agieren mit je drei Fingern erlaubten.

Im FIT-Prototyp werden in Echtzeit Hände und Finger der Benutzter in den Bilddaten einer 3D-Kamera erkannt und die Bewegungen mitverfolgt. Die 3D-Kamera arbeitet nach dem Laufzeitverfahren (TOF-Prinzip). Sie misst für jeden Bildpunkt, wie lange das Licht bis zum gefilmten Objekt und zurück benötigt, und ermittelt so die Distanz.

„Aus diesem Datenwust filtert ein spezieller Bildanalyse-Algorithmus nun die Positionen von Händen und Fingern heraus. Die schnelle Auswertung gelingt durch eine intelligente Filterung der einkommenden Daten. Stellt man sich diese als ein 3D-Relief einer Berglandschaft vor, so wird schnell klar, dass nur Gipfelregionen Handflächen oder Finger sein können.“, so Georg Hackenberg, der im Zuge seiner Masterarbeit an der Realisation des Systems maßgeblich beteiligt war. Zusätzlich reduzieren Plausibilitätskriterien, etwa die Größe einer Hand oder die Fingerlänge, die potentiellen Koordinaten.

Doch auch wenn Benutzertest die Funktionalität und vor allem die besondere Intuitivität des Bedienungskonzepts belegen, muss das System für eine erfolgreiche Markteinführung noch verbessert werden. Armbanduhren etwa können durch Reflexionen das System verwirren, und auch Handflächen, die orthogonal zur Kamera gehalten werden, bereiten Probleme.

„Trotzdem: Wie man auch an den Ankündigungen von Microsoft zum Project Natal sehen kann, werden vergleichbare Benutzungsschnittstellen schon sehr bald im Spielebereich zum Einsatz kommen. Das Potential dieser Technologie eröffnet darüber hinaus auch neuartige Lösungen für andere Anwendungsdomänen, wie die Exploration komplexer Simulationsdaten und neue Formen des Lernens“, prognostiziert Prof. Wolfgang Broll vom Fraunhofer-Institut für Angewandte Informationssysteme FIT.

Ein Demonstrationsfilm ist verfügbar unter:
http://www.youtube.com/watch?v=Tw1mXjMshJE
Kontakt:
Alex Deeg
pr@fit.fraunhofer.de
Telefon: +49 2241 14-2208