Erweiterte Realität unterstützt manuelle Arbeitsprozesse in der Industrie

Im Rahmen des europäischen Verbundprojektes COGNITO entwickelt das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) neuartige, lernbasierte Verfahren und Werkzeuge zur sensorischen Erfassung und Unterstützung manueller Arbeitsabläufe.

Die Vision des intelligenten Assistenzsystems

Ein Wartungstechniker steht vor einem Pumpensystem einer großen Industrieanlage. Ein defektes Kugelventil muss hier gewechselt werden. Er nutzt dazu ein intelligentes Assistenzsystem, bestehend aus einem Brillen-Display und am Körper getragenen Sensoren. Das System erkennt seine Handgriffe und blendet ihm hilfreiche Informationen zum jeweils nächsten Schritt in Form von Text und Grafiken in sein Sichtfeld ein. Den erforderlichen Arbeitsvorgang hat sein Ausbilder zuvor als digitales Handbuch erstellt. Dazu hat er den Arbeitsvorgang demonstriert und mit wenigen zusätzlichen Informationen versehen.

Bei der Ausführung durch den Techniker achtet das System nun darauf, dass dieser die Arbeiten korrekt und zudem auf eine ergonomische Art und Weise durchführt. Sollte er einen Fehler machen oder eine gesundheitsschädliche Haltung einnehmen, so weist es ihn darauf hin und zeigt die erforderliche Korrektur an. Dank der Unterstützung durch das Assistenzsystem kann der Techniker das Ventil sicher und ohne Probleme wechseln und die Anlage kann zügig wieder in Betrieb gehen.

Das obige Szenario beschreibt ein intelligentes Assistenzsystem im industriellen Einsatz. Ein ähnlicher Ablauf diente als Testansatz des europäischen Verbundprojektes COGNITO (Cognitive Workflow Capturing and Rendering with On-Body Sensor Networks) und wurde Ende des Jahres 2012 in der Entwicklungs- und Demonstrationsanlage SmartFactoryKL im Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) in Kaiserslautern durchgeführt. Das von Prof. Dr. Didier Stricker, Leiter des Forschungsbereiches Erweiterte Realität am DFKI, initiierte Projekt hatte zum Ziel, notwendige Basistechnologien für derartige Anwendungen in Form von neuartigen, lernbasierten Verfahren zur sensorischen Erfassung und Unterstützung von manuellen Arbeitsabläufen zu entwickeln.

Die Anforderungen an solche Systeme sind vielfältig. Sie müssen das Arbeitsumfeld und die Aktivitäten des Benutzers zuverlässig erfassen und interpretieren, um situationsgerechte Rückmeldungen anbieten zu können, und ohne Programmieraufwand auf unterschiedlichste Arbeitsprozesse anwendbar sein. Ebenso sind bequeme Handhabbarkeit, Mobilität und flexible Anpassung an eine sich verändernde Umgebung gefragt. Die Erfassung der Umwelt und der Aktivitäten geschieht typischerweise über Sensoren, deren Messungen gerade im industriellen Umfeld besonders robust und präzise sein müssen.

Die Kerntechnologien

Ein Kernelement des COGNITO-Systems ist die genaue Erfassung der Benutzeraktivitäten, von Körperbewegungen über Handbewegungen bis hin zu Interaktionen mit Objekten im Arbeitsumfeld. Für diesen Zweck wurden unterschiedlich komplexe Sensornetzwerke und Verarbeitungsalgorithmen entwickelt und untersucht. Die ausgeprägteste Variante basiert auf einem mobilen, am Körper getragenen Netzwerk aus Drehraten- und Beschleunigungssensoren (sogenannten Inertialsensoren), sowie Farb- und Tiefenkameras. Der Projektpartner Trivisio entwickelte hierfür eigens hochintegrierte, visuell-inertiale Einheiten. Die Fusion der Informationen verschiedenartiger Sensoren ist eines der Spezialgebiete des DFKI-Forschungsbereichs um Prof. Stricker. Durch die Kombination der unterschiedlichen Sensorsysteme lassen sich die Körperbewegungen des Benutzers auch unter schwierigen Bedingungen, beispielsweise bei Störungen durch magnetische Objekte oder durch Überdeckungen, zuverlässig erfassen und auswerten. Des Weiteren bildet die stabile Erfassung der Kopfbewegungen die Grundlage für die korrekte Darstellung von Überlagerungen in einer Datenbrille. Auch die Erfassung von Handfertigkeiten aus den Bildern einer einzigen Farbkamera gehört zu den Kompetenzen des DFKI-Forschungsbereichs. Im Rahmen von COGNITO wurde ein besonders robustes Verfahren entwickelt, welches Hand- und Fingerbewegungen ohne jegliche Markierungen auch bei starken Selbstverdeckungen und während der Manipulation von Objekten und Werkzeugen in Echtzeit ermittelt.

Die präzise Bewegungserfassung bildet dabei die Grundlage für die ergonomische Bewertung von Tätigkeiten durch das COGNITO-System. Diese geschieht anhand eines Echtzeit-Abgleichs der Bewegungen mit dem in der Industrie etablierten RULA-System. Diese Echtzeit-Bewertung und Rückmeldung wurde vom DFKI in enger Zusammenarbeit mit dem Biomechanik-Experten der Universität von Compiegne (UTC) entwickelt und stellt eine große Innovation in der Arbeitswissenschaft dar. In den Ergebnissen einer Studie zeigte sich die deutliche Effektivität des Systems in der Reduzierung nachteiliger Haltungen.

Während sich das DFKI mit der detaillierten Erfassung des Benutzers beschäftigte, lag der Fokus der Universität Bristol auf der dreidimensionalen Erfassung des Arbeitsplatzes und der gehandhabten Objekte über eine Tiefenkamera. Die Universität Leeds entwickelte im Rahmen des Projektes statistische Verfahren um aus den Bewegungen und Interaktionen des Benutzers Arbeitsabläufe zu lernen oder einzelne Aktionen zu erkennen. Das Zentrum für Computergrafik (CCG) in Portugal entwickelte die Visualisierungs- und Interaktionsmetaphern in Zusammenarbeit mit der SmartFactoryKL des DFKI in Kaiserslautern.

AR-Handbücher für die Industrie als Exponat auf der CeBIT 2013

Ein weiterer innovativer Ansatz des DFKI ist die automatische Dokumentation und Unterstützung von einfachen Arbeitsprozessen durch ein leichtgewichtigeres System, basierend auf einer Datenbrille. Mittels einer integrierten Kamera erkennt es durchgeführte Handarbeiten und überlagert diese im Brillen-Display mit den zuvor aufgenommenen Videosequenzen, um so den nächsten Arbeitsschritt vorzugeben. Der Arbeitsablauf lässt sich so einfach und zügig aufzeichnen und muss nur minimal nachbearbeitet werden. Damit kann diese Technologie den Zeitaufwand zur Erstellung von Augmented-Reality-Handbücher erheblich reduzieren und erlaubt auf Grund ihrer geringen Komplexität eine breite Anwendung.

Ein Prototyp dieses AR-Handbuch-Systems wurde eindrucksvoll auf der CeBIT 2012 gezeigt und wird in weiterentwickelter Form im Szenario einer Fabrikumgebung auch 2013 auf der CeBIT zu sehen sein.

Kontakt:
Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI) GmbH
Prof. Dr. Didier Stricker
Forschungsbereich Erweiterte Realität
Tel.: +49 (0)631 20575-3510
E-Mail: Didier.Stricker@dfki.de
Dr. Gabriele Bleser
Forschungsbereich Erweiterte Realität
Tel.: +49 (0)631 20575-3560
E-Mail: Gabriele.Bleser@dfki.de
Pressekontakt:
Unternehmenskommunikation Kaiserslautern
Tel: +49 (0)631 20575-1710
E-Mail.: uk-kl@dfki.de