Schau mir in die Augen, Computer: Wie Dialogsysteme Blicke deuten lernen

Saarbrücker Psycholinguisten erforschen gemeinsam mit Computerlinguisten aus Potsdam, wie Dialogsysteme den Menschen nur anhand seiner Blickbewegungen mit gesprochenen Anweisungen unterstützen können. Erste Ergebnisse belegen, dass Eye-Tracking, die Blickerfassung und Analyse der Blickbewegungen, hierbei erfolgreich eingesetzt werden kann, um Versuchspersonen schneller und leichter an ein Ziel zu navigieren.

Blicke sind schnell und intuitiv, bei Interesse fallen sie intensiver und länger aus, sonst sind sie flüchtig und eher sprunghaft. Mit ihnen verrät der Mensch mehr als ihm bewusst ist. Deshalb lassen sich Blicke auch nutzen, um den Menschen im Alltag zu unterstützen. Hieran forschen Psycholinguisten um Professor Matthew Crocker im Exzellenz-Cluster „Multimodal Computing and Interaction“ an der Saar-Universität gemeinsam mit Computerlinguisten um Prof. Alexander Koller, der lange auf dem Saarbrücker Campus forschte, und jetzt einen Lehrstuhl an der Uni Potsdam inne hat.

Mit ihren Ergebnissen könnten in nicht allzu ferner Zukunft etwa Navigationssysteme noch persönlicher und passgenauer informieren: Ein Blick genügt, und schon gibt das Navi im Auto von selbst Auskunft, wenn der Fahrer die falsche Straße anvisiert oder es antwortet mit Information schon auf seinen fragenden Blick, ohne dass er etwas sagen oder fragen müsste.

Bis es soweit ist, müssen die Forscher noch viele Fragen klären: So darf etwa der Fahrer nicht mit Information überfrachtet werden oder überflüssige Auskünfte bekommen, nur weil er kurz irgendwo hin geschaut oder sein Blick etwas gestreift hat. Auch muss untersucht werden, wie die gesprochenen Botschaften am besten ankommen.

Um mehr über das komplexe Zusammenspiel aus Blicken des Menschen und auf diese „antwortende“ Informationen des Computers herauszufinden, haben die Forscher für ihre Versuchsreihen 3D-Computerwelten entwickelt. Sie schicken Versuchspersonen in verschiedenen Spielvarianten durch virtuelle Räume. Ihre Aufgabe: Sie sollen Knöpfe an den Wänden suchen und drücken. Hierbei werden ihre Blicke unbemerkt über Eye-Tracking aufgefangen: eine Blickerfassung via Kamera am Computer, die an einem zweiten Bildschirm, an dem ein Forscher sitzt, die Blickbewegungen als Punkte sichtbar werden lässt.

In einer der Spielvarianten, die die Probanden durchlaufen, erhalten sie keine Hilfestellung oder Rückmeldung. In einer anderen Variante wird die Versuchsperson bei ihrer Orientierung im Raum mit gesprochenen Anweisungen unterstützt und zum Beispiel aufgefordert, einen bestimmten Knopf anzusteuern und mit einer Maustaste darauf zu drücken. Auf ihrem Weg werden dabei bestärkende oder korrigierende Anweisungen gegeben wie „Ja, dieser!“, „Der andere!“ oder „Der Grüne Knopf!“.

Die Wissenschaftler untersuchen unter anderem, wie sich dabei unterschiedliche Rückmeldungen des Computers auswirken, wie die Strategie der Spieler sich ändert, wenn sie Informationen erhalten, wie sie ihr Verhalten oder ihre Blickbewegungen anpassen und welche die effektivsten Anweisungen sind. Hierzu werden die in den Versuchen gefundenen Daten statistisch ausgewertet und die Muster der Blickbewegungen der Spieler analysiert. Mithilfe dieser Erkenntnisse wird das Dialogsystem weiterentwickelt, um immer besser mit gesprochenen Kommentaren auf die Blickbewegungen einzugehen.

„Mit Feedback kamen die Versuchspersonen häufiger, schneller und leichter zum richtigen Knopf und sie fragten nur seltener um Hilfe“, erklärt Dr. Maria Staudte, ehemals wissenschaftliche Mitarbeiterin bei Professor Matthew Crocker und nun Leiterin der Nachwuchsgruppe „Embodied spoken interaction“ im Exzellenz-Cluster „Multimodal Computing and Interaction“ an der Saar-Uni. „Uns hat überrascht, dass die weitaus meisten Versuchspersonen überhaupt nicht bemerkt haben, dass der Computer von sich aus Feedback gibt, etwa den Knopf zu drücken, wenn sie diesen nur anschauen. Sie haben sich nicht gewundert, woher der Computer weiß, dass er jetzt diese Anweisung geben soll. Kaum jemand kam dahinter, dass Eye-Tracking eingesetzt wurde“, erläutert Dr. Staudte.

Für ihre Forschung wurden Prof. Matthew Crocker und Dr. Maria Staudte von der Saar-Uni und Prof. Alexander Koller und Konstantina Garoufi von der Uni Potsdam im koreanischen Seoul auf der Konferenz SIGdial 2012 bereits für das beste Forschungspaper ausgezeichnet.

Kontakt:
Prof. Matthew Crocker: Tel: 0681/302-6555, 6560; E-Mail: crocker@coli.uni-sb.de
Dr. Maria Staudte: E-Mail: mariastaudte@googlemail.com
Pressefotos für den kostenlosen Gebrauch finden Sie unter http://www.uni-saarland.de/pressefotos. Bitte beachten Sie die Nutzungsbedingungen.

Hinweis für Hörfunk-Journalisten: Sie können Telefoninterviews in Studioqualität mit Wissenschaftlern der Universität des Saarlandes führen, über Rundfunk-ISDN-Codec. Interviewwünsche bitte an die Pressestelle (0681/302-4022) richten.