Forum für Wissenschaft, Industrie und Wirtschaft

Hauptsponsoren:     3M 
Datenbankrecherche:

 

3D-Gebärdensprach-Avatar als Sprachassistent zur automatisierten Gebärdenübersetzung

28.05.2020

Weltweit gibt es etwa 70 Millionen gehörlose Menschen. Für viele von ihnen ist Textsprache eine Fremdsprache. Sie bedienen sich stattdessen der Gebärdensprache. Deshalb sind Behörden und öffentliche Stellen in Deutschland zu barrierefreier digitaler Kommunikation verpflichtet. Dabei könnte ein 3D-Gebärdensprach-Avatar helfen, der von einem Augsburger Forschungsteam gemeinsam mit weitere Experten im Projekt „AVASAG“ entwickelt wird, das vom Bundesministerium für Bildung und Forschung (BMBF) gefördert wird.

Die Digitalisierung der Gesellschaft schreitet voran und eröffnet viele neue Möglichkeiten. Barrierefreie digitale Kommunikation für Menschen mit Behinderung vereinfacht deren Alltag und gewährleistet ihre gesellschaftliche Teilhabe.


Einen 3D-Avatar als Dolmetscher für Gebärdensprache hat der Augsburger Lehrstuhl für Human-Centered Multimedia mitentwickelt. Eingegebener Text wird vom Avatar in Gebärdensprache übersetzt.

Charamel GmbH

In dem vom BMBF geförderten Verbundprojekt AVASAG (steht für Avatar-basierter Sprachassistent zur automatisierten Gebärdenübersetzung) arbeiten sechs Partner aus Forschung und Entwicklung unter der Leitung der Firma Charamel (Spezialist für interaktive Avatar-basierte Assistenzsysteme) an einem echtzeitgesteuerten 3D-Gebärdensprach-Avatar zur automatischen Übersetzung deutscher Texte in Gebärdensprache.

Im Projekt entsteht eine völlig neuartige Gebärdenanimations-Methode für 3D-Avatare: Sie kombiniert solche des maschinellen Lernens mit regel-basierten Synthesemethoden, die Text in Gebärden abbilden.

Zeitliche und räumliche Abhängigkeiten der komplexen Gebärdenelemente werden dabei sehr genau aufgelöst. Damit wird eine qualitativ hochwertige, realistische Darstellung eines 3D-Gebärdensprach-Avatars erreicht.

Entsprechende Angebote ermöglichen gehörlosen und hörbehinderten Menschen eine umfassendere gesellschaftliche Teilhabe und eine stärkere Integration in die „Digitale Gesellschaft“. Die Ergebnisse des Projektes werden gemeinsam mit der Gehörlosen-Zielgruppe evaluiert und im Anwendungsfeld Reiseinformation und -service mit assoziierenden Partnern erprobt.

In AVASAG werden neue maschinelle Lernverfahren entwickelt, um Texte automatisch in Gebärdensprache für den 3D-Avatar zu übersetzen. Als Trainingsmaterial für das maschinelle Lernverfahren werden schätzungsweise mehrere 10.000 Datenpaare bestehend aus einem Text und der dazu korrespondierenden Übersetzung in Gebärdensprache benötigt.

Die Aufbereitung und Kodierung dieser Daten durch den Menschen ist mit einem immensen Zeitaufwand verbunden. In AVASAG wird dieser Aufwand durch eine teils automatische Kodierung mit dem am Augsburger Lehrstuhl für Human-Centered Multimedia entwickelten „NOVA“ Werkzeug erheblich reduziert.

"Wir freuen uns sehr, dass wir mit unserer Technologie in Augsburg dazu beitragen können, digitale Medien für Gebärdensprachler schneller zugänglich zu machen“, meint die Augsburger Informatikerin Prof. Dr. Elisabeth André.

Die Partner im Konsortium: im Verbund stark für gesellschaftliche Teilhabe

Unter Leitung von Charamel arbeiten Forscher und Entwicklerinnen der folgenden Unternehmen und Forschungseinrichtungen aus Deutschland in den nächsten drei Jahren zusammen: yomma GmbH – Experten für Gebärdensprache in Hamburg; Ergosign GmbH, Pionier für User Experience Design in Saarbrücken; Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI) GmbH - Forschungsbereiche "Kognitive Assistenzsysteme", "Sprachtechnologie und Multilingualität; Technische Hochschule Köln / Institut für Medien- und Phototechnik, Köln sowie die Universität Augsburg / Human Centered Multimedia (HCM) in Augsburg.

Das Projekt wird vom Bundesministerium für Bildung und Forschung im Rahmen von „KMU-innovativ“ mit Schwerpunkt Mensch-Technik-Interaktion gefördert. Das Projektvolumen beträgt 1,98 Mio. Euro, davon 74% Förderanteil durch das BMBF.

Alexander Stricker, Geschäftsführer Charamel GmbH und Projektleiter von AVASAG dazu: „Digitale Barrierefreiheit wird immer wichtiger, um Inhalte dynamisch und für alle Zielgruppen adäquat aufbereitet zu vermitteln. Automatisierte Instrumente helfen bei einer barrierefreien Kommunikation. Wir sind begeistert von der Idee, mithilfe unserer smarten, lernfähigen Avatare hierzu einen maßgeblichen Beitrag leisten zu dürfen“.

Über den Lehrstuhl für Human-Centered Multimedia

Der Lehrstuhl für Human-Centered Multimedia der Universität Augsburg hat sich auf internationaler Ebene als Experte für Forschung und Entwicklung an der Schnittstelle von Künstlicher Intelligenz und Mensch-Maschine Interaktion etabliert. Schwerpunkt ist die Interpretation nichtverbaler und paraverbaler Äußerungen mittels Methoden des maschinellen Lernens sowie die darauf basierende Interaktion mit virtuellen Agenten und sozial-interaktiven Robotern.

Weitere Informationen über www.hcm-lab.de

Wissenschaftliche Ansprechpartner:

Prof. Dr. Elisabeth André
Lehrstuhl für Multimodale Mensch-Technik Interaktion
Institut für Informatik, Universität Augsburg
Tel. +49 (0) 821 598 - 2341
E-Mail: andre@hcm-lab.de

Weitere Informationen:

http://www.hcm-lab.de

Michael Hallermayer | idw - Informationsdienst Wissenschaft

Weitere Nachrichten aus der Kategorie Informationstechnologie:

nachricht Spintronik: Schnellere Datenverarbeitung durch ultrakurze elektrische Pulse
03.07.2020 | Martin-Luther-Universität Halle-Wittenberg

nachricht Hygiene auf hohem Niveau: Mobiler Reinigungsroboter für die Produktion
02.07.2020 | Fraunhofer-Institut für Verfahrenstechnik und Verpackung IVV

Alle Nachrichten aus der Kategorie: Informationstechnologie >>>

Die aktuellsten Pressemeldungen zum Suchbegriff Innovation >>>

Die letzten 5 Focus-News des innovations-reports im Überblick:

Im Focus: Ein neuer Weg zur superschnellen Bewegung von Flussschläuchen in Supraleitern entdeckt

Ein internationales Team von Wissenschaftern aus Österreich, Deutschland und der Ukraine hat ein neues supraleitendes System gefunden, in dem sich magnetische Flussquanten mit Geschwindigkeiten von 10-15 km/s bewegen können. Dies erschließt Untersuchungen der reichen Physik nichtlinearer kollektiver Systeme und macht einen Nb-C-Supraleiter zu einem idealen Materialkandidaten für Einzelphotonen-Detektoren. Die Ergebnisse sind in Nature Communications veröffentlicht.

Supraleitung ist ein physikalisches Phänomen, das bei niedrigen Temperaturen in vielen Materialien auftritt und das sich durch einen verschwindenden...

Im Focus: Elektronen auf der Überholspur

Solarzellen auf Basis von Perowskitverbindungen könnten bald die Stromgewinnung aus Sonnenlicht noch effizienter und günstiger machen. Bereits heute übersteigt die Labor-Effizienz dieser Perowskit-Solarzellen die der bekannten Silizium-Solarzellen. Ein internationales Team um Stefan Weber vom Max-Planck-Institut für Polymerforschung (MPI-P) in Mainz hat mikroskopische Strukturen in Perowskit-Kristallen gefunden, die den Ladungstransport in der Solarzelle lenken können. Eine geschickte Ausrichtung dieser „Elektronen-Autobahnen“ könnte Perowskit-Solarzellen noch leistungsfähiger machen.

Solarzellen wandeln das Licht der Sonne in elektrischen Strom um. Dabei wird die Energie des Lichts von den Elektronen des Materials im Inneren der Zelle...

Im Focus: Electrons in the fast lane

Solar cells based on perovskite compounds could soon make electricity generation from sunlight even more efficient and cheaper. The laboratory efficiency of these perovskite solar cells already exceeds that of the well-known silicon solar cells. An international team led by Stefan Weber from the Max Planck Institute for Polymer Research (MPI-P) in Mainz has found microscopic structures in perovskite crystals that can guide the charge transport in the solar cell. Clever alignment of these "electron highways" could make perovskite solar cells even more powerful.

Solar cells convert sunlight into electricity. During this process, the electrons of the material inside the cell absorb the energy of the light....

Im Focus: Das leichteste elektromagnetische Abschirmmaterial der Welt

Empa-Forschern ist es gelungen, Aerogele für die Mikroelektronik nutzbar zu machen: Aerogele auf Basis von Zellulose-Nanofasern können elektromagnetische Strahlung in weiten Frequenzbereichen wirksam abschirmen – und sind bezüglich Gewicht konkurrenzlos.

Elektromotoren und elektronische Geräte erzeugen elektromagnetische Felder, die bisweilen abgeschirmt werden müssen, um benachbarte Elektronikbauteile oder die...

Im Focus: The lightest electromagnetic shielding material in the world

Empa researchers have succeeded in applying aerogels to microelectronics: Aerogels based on cellulose nanofibers can effectively shield electromagnetic radiation over a wide frequency range – and they are unrivalled in terms of weight.

Electric motors and electronic devices generate electromagnetic fields that sometimes have to be shielded in order not to affect neighboring electronic...

Alle Focus-News des Innovations-reports >>>

Anzeige

Anzeige

VideoLinks
Industrie & Wirtschaft
Veranstaltungen

Internationale Konferenz QuApps zeigt Status Quo der Quantentechnologie

02.07.2020 | Veranstaltungen

Virtuelles Meeting mit dem BMBF: Medizintechnik trifft IT auf der DMEA sparks 2020

17.06.2020 | Veranstaltungen

Digital auf allen Kanälen: Lernplattformen, Learning Design, Künstliche Intelligenz in der betrieblichen Weiterbildung, Chatbots im B2B

17.06.2020 | Veranstaltungen

VideoLinks
Wissenschaft & Forschung
Weitere VideoLinks im Überblick >>>
 
Aktuelle Beiträge

Der sechste Sinn der Tiere: Ein Frühwarnsystem für Erdbeben?

03.07.2020 | Biowissenschaften Chemie

Effizient, günstig und ästhetisch: 
Forscherteam baut Elektroden aus Laubblättern

03.07.2020 | Energie und Elektrotechnik

Ein neuer Weg zur superschnellen Bewegung von Flussschläuchen in Supraleitern entdeckt

03.07.2020 | Physik Astronomie

Weitere B2B-VideoLinks
IHR
JOB & KARRIERE
SERVICE
im innovations-report
in Kooperation mit academics