EIRS

Alle Demos · Industrielle Herausforderungen

VR · AR · Immersive Steuerung

Bidirektionale VR/AR-Steuerung digitaler Zwillinge

Ein vernetzter digitaler Zwilling verbindet eine physische Anlage mit ihrer digitalen Darstellung. In diesem Beispiel bedienen Nutzende den JuiceMixer-Prozessprüfstand in Virtual Reality (VR). Befehle erreichen die reale Maschine, während deren aktueller Zustand an die verbundenen VR- und Augmented-Reality-Oberflächen (AR) zurückgemeldet wird.

Bidirektionale VR/AR-Steuerung digitaler Zwillinge
Eine virtuelle Hand interagiert mit dem digitalen Zwilling des JuiceMixers.

Steuerung in beide Richtungen

Immersive Befehle mit dem Verhalten der physischen Maschine verbinden und den aktuellen Zustand an VR- und AR-Ansichten zurückmelden.

Was die Demo zeigt

  • Eine Meta-Quest-Pro-VR-Oberfläche mit Verbindung zur physischen Maschine.
  • Virtuelle Tasten für Maschinenfunktionen, auch für Aktionen ohne eigenes physisches Bedienelement.
  • Ein Drehregler zur Änderung des Motorverhaltens.
  • Bidirektionale Kommunikation zur Rückmeldung des Maschinenzustands an die verbundenen Unity-VR- und AR-Anwendungen.

Prüfumgebung und Ausstattung

Der physische JuiceMixer besteht aus Flüssigkeitsbehältern, Pumpen und Sensoren. Meta Quest Pro stellt die VR-Steueroberfläche bereit, HoloLens 2 die AR-Ansicht. Anlage und immersive Anwendungen nutzen eine gemeinsame lokale Steuer- und Dateninfrastruktur.

Was der Ansatz ermöglicht

Einen Befehl in VR auslösen, die Reaktion der Maschine beobachten und den zurückgemeldeten Zustand in den verbundenen Ansichten prüfen. So entsteht eine Verbindung von immersiver Interaktion über physische Aktion zu sichtbarem Feedback.

Die betriebliche Herausforderung

Ein digitaler Zwilling kann ein System zeigen, ohne dessen physische Anlage bedienbar zu machen. Diese Demo verbindet beides. Immersive Eingaben beeinflussen das Maschinenverhalten, während der Maschinenzustand an die digitalen Ansichten zurückkehrt.

Systemüberblick

Das System verbindet virtuelle Bedienelemente mit Maschinenfunktionen und meldet Zustandsänderungen an die immersiven Anwendungen zurück. Dieselbe lokale Infrastruktur überträgt Befehle zur Anlage und Feedback an die digitalen Ansichten.

So fließen die Daten

Tasten- und Dreheingaben durchlaufen eine lokale Steuerungsschnittstelle aus Python und Flask. MQTT überträgt Befehle an den physischen Prüfstand und aktualisierte Zustände zurück an VR und AR. InfluxDB 2.0 speichert die Zeitreihen.

So nutzen Bedienpersonen das System

Bedienpersonen wählen über virtuelle Tasten Maschinenaktionen, darunter Funktionen ohne eigenes physisches Bedienelement am Prüfstand. Das Drehen des virtuellen Reglers verändert das Motorverhalten. Dabei wird kein physischer Drehknopf mechanisch gedreht oder versetzt. Der zurückgemeldete Maschinenzustand liefert Feedback in VR und AR.

Technik hinter dem Prüfstand

Unity-Anwendungen laufen auf Meta Quest Pro und HoloLens 2. Ein Raspberry Pi koordiniert den physischen Prüfstand. Das Backend nutzt Python und Flask, MQTT überträgt Nachrichten im lokalen Netzwerk und InfluxDB 2.0 speichert Zeitreihen. Der Aufbau läuft lokal.

Nächste Entwicklungsmöglichkeiten

Weitere Entwicklungen könnten die Interaktion mit maschinenspezifischen Funktionen verbinden, Steuerungs- und Sicherheitsanforderungen definieren, Betriebsabläufe dokumentieren sowie Befehls- und Zustandsaktualisierungszeiten im Zielnetzwerk messen.

Industrielle Relevanz

Das Muster lässt sich auf Fernbedienung, Inbetriebnahme, übergeordnete Steuerung, Schulung, Digital-Twin-Tests oder die Interaktion mit entfernten Fachleuten übertragen, wenn physischer und digitaler Zustand synchron bleiben müssen.

Industrielle Anwendungen

Ein digitales Anlagenmodell kann zur Oberfläche für ausgewählte Maschinenfunktionen werden. Die Verbindung von Befehlen und Zustandsrückmeldung ermöglicht die Erkundung von Steuerungen, das Verständnis des Anlagenverhaltens und neue Interaktionsformen.

Vernetzte virtuelle Maschinensteuerungen

Virtuelle Tasten oder Dreheingaben physischen Maschinenfunktionen zuordnen und den resultierenden Zustand darstellen. Ein Projekt würde zulässige Aktionen, Schnittstellen und erforderliches Feedback für die Zielanlage definieren.

Interaktive Anlagenmodelle

Maschinenkomponenten und ausgewählte Interaktionen in einer virtuellen Umgebung erkunden. Das schafft eine Grundlage für Anlagenkenntnis und die Diskussion geeigneter Bedienkonzepte.

Anlagen vor der Installation erkunden

Mit einer virtuellen Darstellung Bedienung, Zugang und Interaktion vor der Installation besprechen. Ein Projekt könnte Engineering-Modelle und relevante Verhaltensweisen der geplanten Anlage einbeziehen.

Die für Ihre Aufgabe relevanten Steuerungen verbinden

Eine Zusammenarbeit könnte eine immersive Oberfläche für definierte Maschinenfunktionen und Betriebsanforderungen entwickeln und evaluieren.

Forschung und Zusammenarbeit entdecken →

Medien

Videos

Bilder

Eine virtuelle Hand interagiert mit dem digitalen Zwilling des JuiceMixers.
Eine virtuelle Hand interagiert mit dem digitalen Zwilling des JuiceMixers.
Einen Behälter und seine Verschlauchung in VR untersuchen.
Einen Behälter und seine Verschlauchung in VR untersuchen.
Interaktion mit einem Behälter im virtuellen Prüfstand.
Interaktion mit einem Behälter im virtuellen Prüfstand.
VR-Bedienfeld für die Pumpen 1–6.
VR-Bedienfeld für die Pumpen 1–6.
Pumpensteuerung und Verschlauchung im virtuellen Prüfstand.
Pumpensteuerung und Verschlauchung im virtuellen Prüfstand.
Der JuiceMixer in seiner virtuellen Umgebung.
Der JuiceMixer in seiner virtuellen Umgebung.

Forschung und Berichte

Projekt und Programm

Diese Arbeit ist Teil von DDIA, Data Driven Immersive Analytics in Digital Industries.

DDIA ist ein FFG COMET-Modul (2022–2026) bei Know Center Research GmbH.

↑ Nach oben