KI-Assistenz aus technischer Dokumentation
Freigegebene Verfahren und Anlageninformationen dialogbasiert zugänglich machen. Ein Projekt würde die Wissensbasis aufbereiten und Genauigkeit sowie Nutzen der Antworten evaluieren.
EIRSAlle Demos · Industrielle Herausforderungen
Während eines Prozesses oder einer Aufgabe können Bedienpersonen eine KI um Hilfe bitten und gesprochene Hinweise, Anweisungen und Annotationen in Augmented Reality (AR) erhalten. Das JuiceMixer-Beispiel zeigt dialogbasierte Unterstützung als Grundlage für zukünftige kontextbezogene Assistenz. Kamerabilder und Live-Prozessdaten könnten der KI helfen, veränderte Bedingungen zu verstehen und ihre Unterstützung an den Aufgabenfortschritt anzupassen.

Verfahrensunterstützung am Ort der Arbeit bereitstellen. Dialogbasierte AR ermöglicht Hilfsanfragen direkt an der Anlage und die Zuordnung der Antwort zur aktuellen Aufgabe.
Das Beispiel nutzt einen physischen JuiceMixer mit sechs Behältern und HoloLens 2. Ein QR-Marker richtet die AR-Hinweise an der Anlage aus. Der Aufbau bietet reale Montage-, Fehlersuch- und Fortsetzungsszenarien.
Prozessarbeit erfordert den Wechsel zwischen Anlage, Anweisungen und Fehlersuchunterlagen. Informationen können auf mehrere Abschnitte verteilt sein. Bei der Wiederaufnahme begonnener Arbeit muss der nächste sinnvolle Schritt erkannt werden. Assistenz muss sowohl die Frage als auch ihren Platz im Ablauf berücksichtigen.
Eine Unity-AR-Anwendung verbindet ein dialogbasiertes Backend mit bereitgestellten Verfahrensinhalten. Antworten erscheinen als Sprache und Text. Strukturierte Schrittdaten wählen passende räumliche Hinweise aus. Die aktuellen Antworten stützen sich auf die Verfahrensunterlagen.
Die Bedienperson startet die Assistenz und stellt eine Frage. Spracherkennung wandelt sie in Text um. Der Assistent formuliert anhand der Verfahrensinhalte eine Antwort, die per Sprachsynthese und Headset-Anzeige ausgegeben wird. Strukturierte Antwortdaten können einen Arbeitsschritt bestimmen und zugehörige AR-Hinweise positionieren.
Bedienpersonen können den nächsten Montageschritt anfordern, abschnittsübergreifende Probleme erfragen oder Hilfe beim Fortsetzen einer Aufgabe suchen. Rückfragen ermöglichen die Klärung der Antwort vor der weiteren Arbeit an der Anlage.
Die AR-Anwendung läuft in Unity mit MRTK 3, dem Mixed Reality Toolkit, auf HoloLens 2. Das Backend verwendet die OpenAI Assistants API mit GPT-4.1. Spracherkennung und -synthese ermöglichen die Spracheingabe. Verfahrensinhalte liegen als strukturierte Daten mit Seitenverweisen vor, QR-Marker positionieren die visuellen Hinweise am Arbeitsbereich.
Die IEEE-VR-Studie verglich den Assistenten mit einem PDF-Handbuch bei schrittweiser Montage, abschnittsübergreifender Fehlersuche und der Fortsetzung einer begonnenen Aufgabe.
Ohne die Wartezeit auf KI-Antworten war die aktive Bearbeitungszeit bei Montage und Fehlersuche geringer. Die Gesamtzeit sank nicht durchgängig, da Antwortverzögerungen Teil des Ablaufs blieben. Bei einer Sicherheitsanweisung führten Nutzende mit Assistenz die geforderte Handlung häufiger aus.
Für Betriebsteams bedeutet das: Anleitung muss zu Aufgabe und Arbeitstempo passen. Antwortgeschwindigkeit ist ebenso wichtig wie Qualität und Relevanz der Information.
Der Ansatz könnte bei Instandhaltung, Montage, Einrichtung und Umrüstung, Fehlersuche, Inspektion und Einarbeitung untersucht werden. Besonders relevant ist er, wenn Aufmerksamkeit an der Anlage bleiben muss und Verfahren mehrere Schritte oder Querverweise enthalten. Standortprojekte könnten Informationen und räumliche Hinweise auf bestimmte Anlagen und Abläufe abstimmen.
Weitere Entwicklungen könnten Kamerabilder und Live-Prozesssignale mit freigegebenen Verfahrensinhalten verbinden. KI könnte sichtbare Bedingungen und aktuellen Prozesszustand nutzen, um Anweisungen im Verlauf anzupassen. So entstünde eine kontinuierliche Rückkopplung zwischen Anlage, Assistenz und Bedienperson. Der praktische Einsatz erfordert Bestätigungen, Sicherheitsregeln, kontrollierten Informationszugang, passende Antwortzeiten und Validierung unter repräsentativen Bedingungen.
Bei Verfahrensaufgaben müssen Menschen Informationen nachschlagen und zugleich Anlage und Fortschritt im Blick behalten. Dialogbasierte Assistenz kann Wissen über Fragen, Antworten und räumliche Hinweise im Arbeitskontext verfügbar machen.
Freigegebene Verfahren und Anlageninformationen dialogbasiert zugänglich machen. Ein Projekt würde die Wissensbasis aufbereiten und Genauigkeit sowie Nutzen der Antworten evaluieren.
Sprachassistenz mit Anweisungen und Annotationen an relevanten Aufgabenorten verbinden. Die Anleitung lässt sich auf konkrete Anlagen und Verfahren abstimmen.
Während einer Untersuchung passende Informationen auffinden. Fragen können zwischen Verfahrensabschnitten wechseln, statt einer festen Anweisungsfolge zu folgen.
Ein definiertes Wartungsverfahren mit den betroffenen Komponenten und Handlungsorten verbinden. Inhalte und Hinweise würden an der tatsächlichen Arbeit geprüft.
Eine Zusammenarbeit könnte mit einem definierten Verfahren und freigegebenem Wissen beginnen. Weitere Forschung könnte Kamerakontext und Live-Maschinendaten für aufgabenabhängige Assistenz integrieren.
Forschung und Zusammenarbeit entdecken →Dialogbasierte AR-Assistenz in JuiceMixer-Aufgabenszenarien.
















Diese Arbeit ist Teil von DDIA, Data Driven Immersive Analytics in Digital Industries.
DDIA ist ein FFG COMET-Modul (2022–2026) bei Know Center Research GmbH.