Lippenlesen: Wie wir mit den Augen hören

Forscher am Leipziger Max-Planck-Institut für Kognitions- und Neurowissenschaften haben nun die neuronalen Grundlagen dieses Phänomens näher untersucht. Sie konnten zeigen, dass Wörter und Lippenbewegungen einander umso besser zugeordnet werden, je größer die Aktivität in einer bestimmten Region im Schläfenlappen des Gehirns ist. Im oberen temporalen Sulcus werden visuelle und auditive Informationen miteinander verknüpft.

Im Alltag versuchen wir selten bewusst, anderen die Worte von den Lippen abzulesen. Doch in einer lauten Umgebung ist es oft sehr hilfreich, dem Gesprächspartner auf den Mund zu schauen. Warum das so ist, erklärt Helen Blank, Wissenschaftlerin am Leipziger MPI: „Indem unser Gehirn beim Lippenlesen Informationen aus verschiedenen sensorischen Quellen verbindet, verbessert sich das Sprachverstehen“. In einer aktuellen Studie hat die Mitarbeiterin der Max-Planck-Forschungsgruppe „Neuronale Mechanismen zwischenmenschlicher Kommunikation“ näher untersucht, auf welche Weise visuelle und auditorische Areale des Gehirns beim Lippenlesen zusammenarbeiten.

Im Experiment hörten Probanden zunächst kurze Sätze, dabei wurde ihre Hirnaktivität mithilfe funktioneller Magnetresonanztomografie gemessen. Darauf folgte jeweils ein kurzes tonloses Video von einer sprechenden Person. Per Knopfdruck gaben die Teilnehmer danach an, ob Wörter und Mundbewegung ihrer Meinung nach zusammengepasst hatten. War dies nicht der Fall, reagierte ein Teil des Netzwerks von Hirnarealen, das visuelle und auditorische Informationen verknüpft, mit erhöhter Aktivität und erhöhte seine Verbindung zu auditorischen Sprachregionen.

„Wahrscheinlich entsteht durch die akustische Vorinformation eine Erwartungshaltung darüber, welche Lippenbewegungen man sehen wird“, vermutet Blank. „Ein Widerspruch zwischen Vorhersage und dem tatsächlich Wahrgenommenen wird im STS als Fehler registriert.“ Wie stark die Aktivität in diesem Areal ausfiel, hing direkt mit den Lippenlese-Fähigkeiten zusammen: Je stärker sie war, desto häufiger lagen die Teilnehmer im Experiment richtig. „Bei den besten Lippenlesern wurde also ein besonders starkes Fehlersignal generiert“, sagt Blank.

Dieser Effekt ist offenbar spezifisch für Sprache: Er trat nicht auf, wenn Probanden entscheiden sollte, ob die Identität der Stimme und des Gesichtes zusammen passten. Die Studie ist ein wichtiges Ergebnis nicht nur für die Grundlagenforschung auf diesem Gebiet. Besseres Wissen darüber, wie das Hirn Gehörtes und Gesehenes bei der Sprachverarbeitung miteinander verbindet, könnte auch in den klinischen Wissenschaften Anwendung finden. „Menschen mit Hörstörungen sind oft sehr stark auf das Lippenlesen angewiesen“, sagt Blank. Weiterführende Studien könnten etwa untersuchen, was im Gehirn passiert, wenn Lippenlesen bewusst trainiert oder mit Zeichensprache kombiniert wird, so die Forscherin.

Ansprechpartner:

Dipl.-Psych. Helen Blank
Max-Planck-Institut für Kognitions- und Neurowissenschaften, Leipzig
Telefon: +49 341 9940-2484
E-Mail: hblank@­cbs.mpg.de

Dr. Christina Schröder
Forschungskoordination und Öffentlichkeitsarbeit
Max-Planck-Institut für Kognitions- und Neurowissenschaften, Leipzig
Telefon: +49 341 9940-132
Fax: +49 341 9940-2303
E-Mail: cschroeder@­cbs.mpg.de

Originalpublikation:

Helen Blank und Katharina von Kriegstein
Mechanisms of enhancing visual–speech recognition by prior auditory information
NeuroImage 65, 15. Januar 2013, 109–118.