Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

Neuartige Software kann Blickkontakt in alltäglichen Situationen erkennen

11.08.2017

Der menschliche Blickkontakt ist eine wichtige Informationsquelle im Bereich der Außenwerbung und des Marketings, für Assistenzsysteme wie beispielsweise im Auto oder auch für die Zusammenarbeit zwischen Robotern und Menschen. Allerdings war es bisher nur sehr eingeschränkt möglich, Blickkontakt in alltäglichen Situationen zu erkennen. Informatiker des Exzellenzclusters an der Universität des Saarlandes und des Max-Planck-Instituts für Informatik haben nun mit einem Kollegen von der Universität Osaka eine Methode entwickelt, mit deren Hilfe der Blickkontakt unabhängig von der Art und Größe der Zielobjekte, der Position der Kamera und der Umgebung möglich ist.

„Wenn Sie ein Werbeplakat in der Fußgängerzone aufhängen oder Werbung und wissen wollen, wie viele Personen es tatsächlich anschauen, hatten Sie bisher keine Chance“, erklärt Andreas Bulling, der am Exzellenzcluster der Universität des Saarlandes und am Max-Planck-Institut für Informatik die unabhängige Nachwuchsgruppe „Perceptual User Interfaces“ leitet.


Die neuartige Software erkennt mit Hilfe von lediglich einer Kamera, ob eine oder gar mehrere Personen ein Zielobjekt anschauen (grüner Kasten) oder nicht (roter Kasten).

Fotos: Universität des Saarlandes

Denn bisher sucht man diese wichtige, aber auch simple Information zu erfassen, indem man die Blickrichtung maß. Das setzte spezielle Kameras, deren minutenlange Kalibrierung voraus, und vor allem galt: Jeder musste eine solche Kamera tragen. Tests wie in der Fußgängerzone oder gar nur mehreren Personen waren damit im besten Fall sehr aufwendig, im schlimmsten Fall unmöglich.

Selbst wenn die Kamera am Zielobjekt, beispielsweise am Poster, saß und Maschinelles Lernen eingesetzt wurde, der Computer also mithilfe einer ausreichenden Menge von Beispieldaten trainiert wurde, konnten nur Blicke auf die Kamera selbst erkannt werden.

Zu oft war der Unterschied zwischen den Trainingsdaten und den Daten in der Zielumgebung zu groß. Ein universeller Blickkontakt-Erkenner, einsetzbar sowohl für kleine und große Zielobjekte, in stationären und mobilen Situationen, einen Anwender oder gar eine ganze Gruppe oder unter wechselnden Beleuchtungssituationen, war bislang nahezu unmöglich.

Zusammen mit seinem Doktorand Xucong Zhang und seinem Postdoktorand Yusuke Sugano, der nun Professor an der Universität Osaka ist, hat Bulling nun eine Methode entwickelt [1], die auf einer neuen Generation von Algorithmen zur Blickrichtungsschätzung basiert. Diese verwenden eine spezielle Art von neuronalem Netzwerk, das unter dem Begriff „Deep Learning“ aktuell in vielen Bereichen der Industrie und Wirtschaft für Furore sorgt.

Bereits seit zwei Jahren [2] arbeiten Bulling und seine Kollegen damit und haben es Schritt für Schritt weiterentwickelt [3]. Im nun vorgestellten Verfahren wird zunächst ein sogenanntes Clustering (Ballungsanalyse) der geschätzten Blickrichtungen durchgeführt. Mit der gleichen Strategie kann man beispielsweise auch Äpfel und Birnen anhand verschiedener Merkmale sortieren, ohne explizit vorgeben zu müssen, worin sich die beiden unterscheiden.

In einem zweiten Schritt wird dann der wahrscheinlichste Cluster identifiziert und die darin enthaltenen Blickrichtungsschätzungen für das Training eines, für das Zielobjekt spezifischen, Blickrichtungs-Erkenners verwendet. Ein entscheidender Vorteil dieses Vorgehens ist, dass er ganz ohne Mitwirkung des Benutzers erfolgt und die Methode somit auch immer besser werden kann, je länger die Kamera neben dem Zielobjekt verbleibt und Daten aufnimmt. „Auf diese Weise verwandelt unsere Methode normale Kameras in einen Blickkontakt-Erkenner, ohne zuvor Größe oder Position des Zielobjektes kennen oder vorgeben zu müssen“, erklärt Bulling.

Die Forscher haben ihre Methode bisher in zwei Szenarien getestet: Am Arbeitsplatz, die Kamera war hier auf dem Zielobjekt montiert, und im Alltag, der Anwender trug hier eine Kamera am Körper, so dass sich eine ich-bezogene Perspektive ergab. Das Ergebnis: Da die Methode sich ihr nötiges Wissen selbst erarbeitet, ist sie robust, selbst wenn die Anzahl der Personen, die Lichtverhältnisse, die Kamerapositionen und die Zielobjekte in ihrer Art und Größe variieren.

Bulling schränkt ein: „Wir können zwar grundsätzlich Blickrichtungs-Cluster auf mehreren Zielobjekten mit nur einer Kamera identifizieren, aber die Zuordnung dieser Cluster zu den verschiedenen Objekten ist noch nicht möglich. Unsere Methode nimmt daher momentan an, dass der nächstgelegene Cluster zum Zielobjekt gehört und ignoriert die restlichen Cluster. Diese Einschränkung werden wir als nächstes angehen.“ Dennoch ist er überzeugt: „Die vorgestellte Methode ist ein großer Schritt nach vorne. Sie ebnet nicht nur den Weg für neue Benutzerschnittstellen, die Blickkontakt automatisch erkennen und auf diesen reagieren, sondern auch für Blickkontaktmessungen in alltäglichen Situationen, wie beispielsweise Außenwerbung, die bisher unmöglich waren.“

Weitere Informationen:
[1] Xucong Zhang, Yusuke Sugano and Andreas Bulling. Everyday Eye Contact Detection Using Unsupervised Gaze Target Discovery. Proc. ACM UIST 2017.
https://perceptual.mpi-inf.mpg.de/files/2017/05/zhang17_uist.pdf

[2] Xucong Zhang, Yusuke Sugano, Mario Fritz and Andreas Bulling. Appearance-Based Gaze Estimation in the Wild. Proc. IEEE CVPR 2015, 4511-4520.
https://perceptual.mpi-inf.mpg.de/files/2015/04/zhang_CVPR15.pdf

[3] Xucong Zhang, Yusuke Sugano, Mario Fritz and Andreas Bulling. It’s Written All Over Your Face: Full-Face Appearance-Based Gaze Estimation. Proc. IEEE CVPRW 2017.
https://perceptual.mpi-inf.mpg.de/files/2017/05/zhang_cvprw2017.pdf
Demo-Video:
https://www.youtube.com/watch?v=ccrS5XuhQpk

Fragen beantwortet:
Dr. Andreas Bulling
Perceptual User Interfaces Group
Exzellenzcluster „Multimodal Computing and Interaction“
Saarland Informatics Campus
Tel. +49 681 932 52128
E-Mail: bulling@mpi-inf.mpg.de

Redaktion:
Gordon Bolduan
Kompetenzzentrum Informatik Saarland
Saarland Informatics Campus
Telefon: +49 681 302-70741
E-Mail: bolduan@mmci.uni-saarland.de

Hinweis für Hörfunk-Journalisten:
Sie können Telefoninterviews in Studioqualität mit Wissenschaftlern der Universität des Saarlandes führen, über Rundfunk-Codec (IP-Verbindung mit Direktanwahl oder über ARD-Sternpunkt 106813020001). Interviewwünsche bitte an die Pressestelle (0681/302-3610).

Thorsten Mohr | Universität des Saarlandes
Weitere Informationen:
http://www.uni-saarland.de

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Vom Weltraum in die Produktionshalle:Transferprojekt macht Roboter für flexible Montagearbeiten fit
15.08.2017 | Deutsches Forschungszentrum für Künstliche Intelligenz GmbH, DFKI

nachricht Neues Projekt CONVERS – Innovative Verifikationsmethodik für die Sicherheit hochkomplexer Systeme
07.08.2017 | Deutsches Forschungszentrum für Künstliche Intelligenz GmbH, DFKI

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Exotische Quantenzustände: Physiker erzeugen erstmals optische „Töpfe" für ein Super-Photon

Physikern der Universität Bonn ist es gelungen, optische Mulden und komplexere Muster zu erzeugen, in die das Licht eines Bose-Einstein-Kondensates fließt. Die Herstellung solch sehr verlustarmer Strukturen für Licht ist eine Voraussetzung für komplexe Schaltkreise für Licht, beispielsweise für die Quanteninformationsverarbeitung einer neuen Computergeneration. Die Wissenschaftler stellen nun ihre Ergebnisse im Fachjournal „Nature Photonics“ vor.

Lichtteilchen (Photonen) kommen als winzige, unteilbare Portionen vor. Viele Tausend dieser Licht-Portionen lassen sich zu einem einzigen Super-Photon...

Im Focus: Exotic quantum states made from light: Physicists create optical “wells” for a super-photon

Physicists at the University of Bonn have managed to create optical hollows and more complex patterns into which the light of a Bose-Einstein condensate flows. The creation of such highly low-loss structures for light is a prerequisite for complex light circuits, such as for quantum information processing for a new generation of computers. The researchers are now presenting their results in the journal Nature Photonics.

Light particles (photons) occur as tiny, indivisible portions. Many thousands of these light portions can be merged to form a single super-photon if they are...

Im Focus: Wissenschaftler beleuchten den „anderen Hochtemperatur-Supraleiter“

Eine von Wissenschaftlern des Max-Planck-Instituts für Struktur und Dynamik der Materie (MPSD) geleitete Studie zeigt, dass Supraleitung und Ladungsdichtewellen in Verbindungen der wenig untersuchten Familie der Bismutate koexistieren können.

Diese Beobachtung eröffnet neue Perspektiven für ein vertieftes Verständnis des Phänomens der Hochtemperatur-Supraleitung, ein Thema, welches die Forschung der...

Im Focus: Tests der Quantenmechanik mit massiven Teilchen

Quantenmechanische Teilchen können sich wie Wellen verhalten und mehrere Wege gleichzeitig nehmen, um an ihr Ziel zu gelangen. Dieses Prinzip basiert auf Borns Regel, einem Grundpfeiler der Quantenmechanik; eine mögliche Abweichung hätte weitreichende Folgen und könnte ein Indikator für neue Phänomene in der Physik sein. WissenschafterInnen der Universität Wien und Tel Aviv haben nun diese Regel explizit mit Materiewellen überprüft, indem sie massive Teilchen an einer Kombination aus Einzel-, Doppel- und Dreifachspalten interferierten. Die Analyse bestätigt den Formalismus der etablierten Quantenmechanik und wurde im Journal "Science Advances" publiziert.

Die Quantenmechanik beschreibt sehr erfolgreich das Verhalten von Partikeln auf den kleinsten Masse- und Längenskalen. Die offensichtliche Unvereinbarkeit...

Im Focus: Ringförmige RNA ist für Gehirnfunktion wichtig

Wissenschaftliche Untersuchungen haben erstmals gezeigt, dass ringförmige RNA Hirnfunktionen beeinflussen kann. Wenn ein RNA-Molekül namens Cdr1as aus dem Erbgut von Mäusen gelöscht wird, versagt der Reizfilter in ihrem Gehirn – ähnlich wie bei Patienten, die psychiatrische Leiden haben.

Im Gehirn von Säugetieren kommen ringförmige RNAs (circRNA) in Hunderten verschiedenen Varianten vor. Trotz dieser Fülle blieb eine Frage bislang...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics
Veranstaltungen

Sensibilisierungskampagne zu Pilzinfektionen

15.08.2017 | Veranstaltungen

Anbausysteme im Wandel: Europäische Ackerbaubetriebe müssen sich anpassen

15.08.2017 | Veranstaltungen

Meilensteine und Perspektiven der wissensbasierten Wirtschaft

14.08.2017 | Veranstaltungen

 
VideoLinks
B2B-VideoLinks
Weitere VideoLinks >>>
Aktuelle Beiträge

Wie Proteine Inseln bilden

15.08.2017 | Biowissenschaften Chemie

Lasersensoren LAH-G1 – Optische Abstandssensoren mit Messwertanzeige

15.08.2017 | Energie und Elektrotechnik

Unbekannte Proteinkomplexe leichter entschlüsseln

15.08.2017 | Biowissenschaften Chemie