Mensch-Maschine-Interaktion

ARProMO: Augmented Reality für die Produktionsoptimierung im Mittelstand durch intelligente Objekterkennung

01.09.2017 bis 01.04.2021

Mit AR‐ProMO wird ein generisches und intelligentes Assistenzsystem für industrielle Anwendungen entwickelt, das mittels eines Augmented‐Reality‐Gerät (AR Fähig Tablet) Daten im physischen Umfeld des Nutzers sichtbar und die Komplexität, die CPS mit sich bringen, verständlich macht.

Im Folgenden sind die wichtigsten wissenschaftlich-technischen sowie andere wesentliche Ergebnisse zusammengefasst dargestellt.

Innovation 1: Entwicklung einer intelligenten Objekterkennung zur markerlosen Identifikation und Verfolgung von Anlagenbauteilen.

Das Ziel der intelligenten Objekterkennung besteht im Fall von AR-Promo in einer zweifachen Ergänzung klassischer Bilderkennung: Zum einen soll durch maschinelle Lernverfahren aus dem Bereich der Künstlichen Intelligenz die Bilderkennung so angereichert werden, dass spezifische Teile der infrage stehenden Anlagen oder Maschinen sicher erkannt werden können. Zum anderen soll durch Verknüpfung dieser Ergebnisse mit einer Wissensbasis die Genauigkeit der Erkennung und Zuordnung erhöht und darüber hinaus auch eine Erkennung in optisch schwierigen Situationen (Verdeckungen, schwierige Lichtverhältnisse etc.) verbessert werden (Abbildung 1).

Als Anwendungsfall wird die Bestückung eines Schaltschrankes genommen, wobei die Auswahl und Anordnung der Klemmleisten während der Montage im Vergleich zu einem vorbestehenden Auftrag geprüft werden muss, um den Mitarbeiter auf die Montagefehler hinzuweisen.

Innovation 2: Entwicklung von AR-ProMO, einer Gesamtlösung bestehend aus Hard- und Software, für Augmented-Reality-Anwendungen im industriellen Kontext.

Um dem Nutzer die Kontrolle des Arbeitsprozesses nicht vorzuenthalten, lässt ihn das System seine eigene Leistung während des Ablaufs des Prüfungsprozesses evaluieren. Analysefehler, das heißt Komponenten, die sowohl nicht als auch als falsch erkannt worden sind, kann der Nutzer bestätigen bzw. korrigieren. Die Korrekturen können nachfolgend an das System weitergeleitet werden.

Neben diesen Aspekten muss auch die Ergonomie mit in Betracht gezogen werden. Montagearbeit ist grundsätzlich Handarbeit. Deswegen ist es wichtig, dass die AR-ProMO HW die Nutzer bei der Arbeit unterstützt und keine zusätzlichen körperlichen oder geistigen Anforderungen an die Nutzer stellt. Daher ist ein Konzept mit einem auf einem Gelenkarm montierten Tablet entworfen worden (Abbildung 2). Das Tablet kann durch diesen Ansatz wie eine Lupe verwendet werden, und wird je nach Bedarf an der richtigen Stelle positioniert. Dadurch bleiben die Hände frei, um sich mit der Montage zu beschäftigen.

Das Projekt wird gefördert durch:
Förderkennzeichen: ZF4036809ED7
Förderlinien: Zentrales Innovationsprogram Mittelstand (ZIM)
Projektbeteiligte / Ansprechpartner: Hitesh Dhiman, M. Sc.
Hitesh Dhiman, M. Sc.¹, Hitesh Dhiman, M. Sc., Dr.-Ing. Sebastian Büttner, Prof. Dr.-Ing. Dr. phil. Dr. rer. soc. Carsten Röcker, Raphael Reisch, Raphael Reisch²
Handling Work Complexity with AR/Deep Learning
In: 31st Australian Conference on Human-Computer-Interaction (OZCHI 2019) , pp. 518-522, Dec 2019
¹ Erstautoren
² Letztautoren