Zusätzliche Daten können helfen, subtile Gesten, Handpositionen und Gesichtsausdrücke zu unterscheiden

Die Komplexität der Gebärdensprachen

Gebärdensprachen wurden von Nationen weltweit entwickelt, um dem lokalen Kommunikationsstil zu entsprechen, und jede Sprache besteht aus Tausenden von Zeichen. Dies hat es schwierig gemacht, Gebärdensprachen zu lernen und zu verstehen. Der Einsatz von künstlicher Intelligenz zur automatischen Übersetzung der Zeichen in Worte, bekannt als Gebärdenspracherkennung auf Wortebene, hat nun durch die Arbeit einer von der Osaka Metropolitan University geleiteten Forschungsgruppe eine Genauigkeitssteigerung erfahren.

Es geht um Genauigkeit

Frühere Forschungsmethoden konzentrierten sich darauf, Informationen über die allgemeinen Bewegungen des Zeichners zu erfassen. Die Genauigkeitsprobleme entstanden durch unterschiedliche Bedeutungen, die sich aus den feinen Unterschieden in der Handform und der Beziehung in der Position der Hände und des Körpers ergeben konnten.

Associate Professor Katsufumi Inoue und Associate Professor Masakazu Iwamura von der Graduate School of Informatics arbeiteten mit Kollegen, darunter am Indian Institute of Technology Roorkee, zusammen, um die Genauigkeit der KI-Erkennung zu verbessern. Sie fügten Daten wie Hand- und Gesichtsausdrücke sowie skelettale Informationen über die Position der Hände relativ zum Körper den Informationen über die allgemeinen Bewegungen des Oberkörpers des Zeichners hinzu.

„Wir konnten die Genauigkeit der Gebärdenspracherkennung auf Wortebene im Vergleich zu herkömmlichen Methoden um 10-15 % verbessern“, erklärte Professor Inoue. „Darüber hinaus erwarten wir, dass die von uns vorgeschlagene Methode auf jede Gebärdensprache anwendbar ist, was hoffentlich zu einer verbesserten Kommunikation mit sprech- und hörgeschädigten Menschen in verschiedenen Ländern führen wird.“

Über OMU
Die Osaka Metropolitan University, eine der größten öffentlichen Universitäten Japans, wurde in Osaka gegründet und setzt sich dafür ein, die Zukunft der Gesellschaft durch „Konvergenz des Wissens“ und die Förderung von Forschung auf Weltniveau zu gestalten. Für weitere Forschungsnachrichten besuchen Sie https://www.omu.ac.jp/en/

Originalveröffentlichung
Mizuki Maruyama; Shrey Singh; Katsufumi Inoue; Partha Pratim Roy; Masakazu Iwamura; Michifumi Yoshioka
Zeitschrift: IEEE Access
Artikel Titel: Word-Level Sign Language Recognition With Multi-Stream Neural Networks Focusing on Local Regions and Skeletal Information
Artikel Veröffentlichungsdatum: 11. November 2024
DOI: 10.1109/ACCESS.2024.3494878

Medienkontakt
Yung-Hsiang Kao
Osaka Metropolitan University
E-Mail: koho-ipro@ml.omu.ac.jp

Quelle: EurekAlert!