EIRS

Alle Demos · Industrielle Herausforderungen

Dialogbasierte KI · Augmented Reality · Prozessunterstützung

Dialogbasierte KI-Assistenz für betriebliche Abläufe

Während eines Prozesses oder einer Aufgabe können Bedienpersonen eine KI um Hilfe bitten und gesprochene Hinweise, Anweisungen und Annotationen in Augmented Reality (AR) erhalten. Das JuiceMixer-Beispiel zeigt dialogbasierte Unterstützung als Grundlage für zukünftige kontextbezogene Assistenz. Kamerabilder und Live-Prozessdaten könnten der KI helfen, veränderte Bedingungen zu verstehen und ihre Unterstützung an den Aufgabenfortschritt anzupassen.

Dialogbasierte KI-Assistenz für betriebliche Abläufe
Systemüberblick des dialogbasierten AR-Assistenten.

Anleitung im Arbeitsablauf

Verfahrensunterstützung am Ort der Arbeit bereitstellen. Dialogbasierte AR ermöglicht Hilfsanfragen direkt an der Anlage und die Zuordnung der Antwort zur aktuellen Aufgabe.

Was die Demo zeigt

  • Sprachfragen mit Antworten auf Basis bereitgestellter Verfahrensinhalte.
  • Gesprochene und angezeigte Antworten in HoloLens 2.
  • Räumliche Annotationen an relevanten Aufgabenpositionen.
  • Unterstützung für schrittweise Montage, abschnittsübergreifende Fehlersuche und die Fortsetzung begonnener Aufgaben.

Prüfumgebung und Ausstattung

Das Beispiel nutzt einen physischen JuiceMixer mit sechs Behältern und HoloLens 2. Ein QR-Marker richtet die AR-Hinweise an der Anlage aus. Der Aufbau bietet reale Montage-, Fehlersuch- und Fortsetzungsszenarien.

Was der Ansatz ermöglicht

  • Verfahrensinformationen griffbereit halten und dabei die Anlage im Blick behalten.
  • Anweisungen den zugehörigen Komponenten oder Aufgabenorten zuordnen.
  • Während eines Ablaufs Klärung oder den nächsten relevanten Schritt anfordern.
  • Dialogbasierte Unterstützung für Abläufe mit mehreren Schritten oder Querverweisen erkunden.

Die betriebliche Herausforderung

Prozessarbeit erfordert den Wechsel zwischen Anlage, Anweisungen und Fehlersuchunterlagen. Informationen können auf mehrere Abschnitte verteilt sein. Bei der Wiederaufnahme begonnener Arbeit muss der nächste sinnvolle Schritt erkannt werden. Assistenz muss sowohl die Frage als auch ihren Platz im Ablauf berücksichtigen.

Systemüberblick

Eine Unity-AR-Anwendung verbindet ein dialogbasiertes Backend mit bereitgestellten Verfahrensinhalten. Antworten erscheinen als Sprache und Text. Strukturierte Schrittdaten wählen passende räumliche Hinweise aus. Die aktuellen Antworten stützen sich auf die Verfahrensunterlagen.

So funktioniert die Assistenz

Die Bedienperson startet die Assistenz und stellt eine Frage. Spracherkennung wandelt sie in Text um. Der Assistent formuliert anhand der Verfahrensinhalte eine Antwort, die per Sprachsynthese und Headset-Anzeige ausgegeben wird. Strukturierte Antwortdaten können einen Arbeitsschritt bestimmen und zugehörige AR-Hinweise positionieren.

So nutzen Bedienpersonen das System

Bedienpersonen können den nächsten Montageschritt anfordern, abschnittsübergreifende Probleme erfragen oder Hilfe beim Fortsetzen einer Aufgabe suchen. Rückfragen ermöglichen die Klärung der Antwort vor der weiteren Arbeit an der Anlage.

Technik hinter dem Prüfstand

Die AR-Anwendung läuft in Unity mit MRTK 3, dem Mixed Reality Toolkit, auf HoloLens 2. Das Backend verwendet die OpenAI Assistants API mit GPT-4.1. Spracherkennung und -synthese ermöglichen die Spracheingabe. Verfahrensinhalte liegen als strukturierte Daten mit Seitenverweisen vor, QR-Marker positionieren die visuellen Hinweise am Arbeitsbereich.

Was die Studie zeigt

Die IEEE-VR-Studie verglich den Assistenten mit einem PDF-Handbuch bei schrittweiser Montage, abschnittsübergreifender Fehlersuche und der Fortsetzung einer begonnenen Aufgabe.

Ohne die Wartezeit auf KI-Antworten war die aktive Bearbeitungszeit bei Montage und Fehlersuche geringer. Die Gesamtzeit sank nicht durchgängig, da Antwortverzögerungen Teil des Ablaufs blieben. Bei einer Sicherheitsanweisung führten Nutzende mit Assistenz die geforderte Handlung häufiger aus.

Für Betriebsteams bedeutet das: Anleitung muss zu Aufgabe und Arbeitstempo passen. Antwortgeschwindigkeit ist ebenso wichtig wie Qualität und Relevanz der Information.

Mögliche Einsatzbereiche

Der Ansatz könnte bei Instandhaltung, Montage, Einrichtung und Umrüstung, Fehlersuche, Inspektion und Einarbeitung untersucht werden. Besonders relevant ist er, wenn Aufmerksamkeit an der Anlage bleiben muss und Verfahren mehrere Schritte oder Querverweise enthalten. Standortprojekte könnten Informationen und räumliche Hinweise auf bestimmte Anlagen und Abläufe abstimmen.

Nächste Entwicklungsmöglichkeiten

Weitere Entwicklungen könnten Kamerabilder und Live-Prozesssignale mit freigegebenen Verfahrensinhalten verbinden. KI könnte sichtbare Bedingungen und aktuellen Prozesszustand nutzen, um Anweisungen im Verlauf anzupassen. So entstünde eine kontinuierliche Rückkopplung zwischen Anlage, Assistenz und Bedienperson. Der praktische Einsatz erfordert Bestätigungen, Sicherheitsregeln, kontrollierten Informationszugang, passende Antwortzeiten und Validierung unter repräsentativen Bedingungen.

Industrielle Anwendungen

Bei Verfahrensaufgaben müssen Menschen Informationen nachschlagen und zugleich Anlage und Fortschritt im Blick behalten. Dialogbasierte Assistenz kann Wissen über Fragen, Antworten und räumliche Hinweise im Arbeitskontext verfügbar machen.

KI-Assistenz aus technischer Dokumentation

Freigegebene Verfahren und Anlageninformationen dialogbasiert zugänglich machen. Ein Projekt würde die Wissensbasis aufbereiten und Genauigkeit sowie Nutzen der Antworten evaluieren.

Dialogbasierte Fehlersuche

Während einer Untersuchung passende Informationen auffinden. Fragen können zwischen Verfahrensabschnitten wechseln, statt einer festen Anweisungsfolge zu folgen.

Assistenz für Ihre betrieblichen Abläufe entwickeln

Eine Zusammenarbeit könnte mit einem definierten Verfahren und freigegebenem Wissen beginnen. Weitere Forschung könnte Kamerakontext und Live-Maschinendaten für aufgabenabhängige Assistenz integrieren.

Forschung und Zusammenarbeit entdecken →

Medien

Videos

Bilder

AR-Aufgabenassistenz am JuiceMixer-Prüfstand.
AR-Aufgabenassistenz am JuiceMixer-Prüfstand.
Vergleich dialogbasierter Anleitung mit einem PDF-Handbuch.
Vergleich dialogbasierter Anleitung mit einem PDF-Handbuch.
Dialogbasierte Anleitung zu einem Verfahrensschritt.
Dialogbasierte Anleitung zu einem Verfahrensschritt.
Räumliche Hinweise markieren Aufgabenorte am JuiceMixer.
Räumliche Hinweise markieren Aufgabenorte am JuiceMixer.
Fehlersuchassistenz verknüpft Informationen über mehrere Verfahrensabschnitte.
Fehlersuchassistenz verknüpft Informationen über mehrere Verfahrensabschnitte.
HoloLens-2-Aufbau für Aufgabenassistenz am JuiceMixer.
HoloLens-2-Aufbau für Aufgabenassistenz am JuiceMixer.
Die Studie vergleicht AR-Assistenz mit einem PDF-Handbuch.
Die Studie vergleicht AR-Assistenz mit einem PDF-Handbuch.
Konzept: Eine Bedienperson fragt an einer Maschine nach Anleitung.
Konzept: Eine Bedienperson fragt an einer Maschine nach Anleitung.
Konzept: AR-Assistenz antwortet direkt an der Anlage.
Konzept: AR-Assistenz antwortet direkt an der Anlage.
Konzept: Anlagenidentifikation mit zugehöriger Aufgabenanleitung.
Konzept: Anlagenidentifikation mit zugehöriger Aufgabenanleitung.
Konzept: Informationsfluss eines dialogbasierten AR-Assistenten.
Konzept: Informationsfluss eines dialogbasierten AR-Assistenten.
Konzept: Nutzeranfragen mit AR-Anleitung verknüpfen.
Konzept: Nutzeranfragen mit AR-Anleitung verknüpfen.
Arbeitsschritte für Behälterbefüllung, Schlauchverbindungen und Pumpenbedienung.
Arbeitsschritte für Behälterbefüllung, Schlauchverbindungen und Pumpenbedienung.
Gestaltungsperspektiven für Einsteigende, Entwicklung und Engineering.
Gestaltungsperspektiven für Einsteigende, Entwicklung und Engineering.
Dialogbasierte Aufgabenunterstützung auf AR-Anzeigen.
Dialogbasierte Aufgabenunterstützung auf AR-Anzeigen.
Konzept: ARIA-Brillen erfassen Aufgaben- und Nutzerkontext während der Arbeit.
Konzept: ARIA-Brillen erfassen Aufgaben- und Nutzerkontext während der Arbeit.

Forschung und Berichte

Projekt und Programm

Diese Arbeit ist Teil von DDIA, Data Driven Immersive Analytics in Digital Industries.

DDIA ist ein FFG COMET-Modul (2022–2026) bei Know Center Research GmbH.

↑ Nach oben