Immersive Roboterfernsteuerung
Fernsteuerungen und immersive Ansichten passend zur Roboteraufgabe entwickeln. Ein Projekt könnte untersuchen, wie Eingaben und Feedback die Führung unterstützen.
EIRSAlle Demos · Industrielle Herausforderungen
Bedienpersonen können einen mobilen Roboter durch schwer zugängliche oder unsichere Bereiche steuern und seine Live-Kamerabilder in VR betrachten. Mit Orten in der Szene verknüpfte Bilder unterstützen die spätere fachliche Auswertung. Das Framework verbindet Roboterfernsteuerung, räumlichen Kontext und vertiefte Nachbereitung und lässt sich auf andere Roboter und Aufnahmesysteme anpassen.

Manche Umgebungen sind schwer oder unsicher zugänglich, etwa schwer erreichbare Industriebereiche, Gefahren- und Unfallbereiche oder entfernte Infrastruktur. Mobile Roboter können Kameras dorthin bringen und während der Steuerung Live-Bilder liefern. Aufnahmen und markierte Punkte ermöglichen Fachleuten die spätere Detailprüfung.
Der Prüfstand verbindet einen vierbeinigen Unitree AlienGo und seine Kameras mit einer Unity-VR-Anwendung. Bedienpersonen nutzen Meta Quest Pro und Omnideck oder einen Joystick zur Fortbewegung. Kopfbewegung oder Joystick verändern die Kamerasicht. Ein Matterport-LiDAR-Scan liefert ein lasererfasstes Raummodell für Navigation und räumlichen Kontext.
Das Framework verbindet Bedienoberfläche, Roboterkommunikation und Inspektionsauswertung. Ein Matterport-LiDAR-Scan wird als räumliches Modell in Unity importiert. Live-Kameravideo zeigt die Roboterperspektive, die rekonstruierte Umgebung liefert Kontext. Erfasste Szeneninformationen lassen sich später detailliert untersuchen.
Drei auf ROS, dem Robot Operating System, basierende Ebenen verbinden Roboter und immersive Anwendung. Roboterknoten übernehmen Sensorik und Bewegung. Middleware übersetzt Gerätedaten und Befehle. Containerisierte Dienste in einer Docker-basierten privaten Cloud koordinieren die Kommunikation. Bewegungsbefehle gehen von VR zum Roboter, Live-Video und Szenenaktualisierungen zurück zur Bedienperson.
Bedienpersonen können georeferenzierte Screenshots speichern und Beobachtungen mit Szenenpositionen verknüpfen. Diese Punkte lassen sich über eine zentrale Plattform teilen, damit Fachleute Details prüfen und Folgemaßnahmen empfehlen können.
Die Bewegung wird per Omnideck oder Joystick gesteuert, die Kamerasicht per Kopfbewegung oder Joystick. Live-Video unterstützt die Inspektion während der Navigation. Bei auffälligen Details wird ein mit dem Szenenort verknüpftes Bild aufgenommen. Fachleute können es zusammen mit der rekonstruierten Umgebung prüfen.
Teams können schwer oder unsicher erreichbare Bereiche beurteilen, Roboter gezielt zu Inspektionspunkten führen und Bilder an Fachleute weitergeben. Einsatzmöglichkeiten umfassen beengte Prozessräume, entfernte Infrastruktur, unfallgefährdete Orte und Notfalleinsätze. Eine Standortanpassung stimmt Steuerungen, Kamerasichten und Nachweisübergabe auf den Inspektionsablauf ab.
Weitere Entwicklungen könnten zusätzliche Bodenroboter und Drohnen, Kameras und Sensoren wie Wärmebild oder LiDAR sowie mehrere Live-Blickwinkel und gemeinsame Fachauswertung integrieren. Standortanpassungen könnten Bedienung, Sicherheitsabläufe und Übergabe an die Bedürfnisse des Teams anpassen.
Ferninspektion erfordert mehr als eine Kamera an einem schwer erreichbaren Ort. Bedienpersonen müssen Umgebung und Details verstehen, Bewegung steuern und hilfreiche Beobachtungen verständlich weitergeben.
Fernsteuerungen und immersive Ansichten passend zur Roboteraufgabe entwickeln. Ein Projekt könnte untersuchen, wie Eingaben und Feedback die Führung unterstützen.
Live-Erkundung mit detaillierter Prüfung erfasster Umgebungen verbinden. Der Ansatz könnte auf schwer zugängliche, gefährliche oder praktisch unerreichbare Orte angepasst werden.
Kameraperspektiven und Steuerung an den Inspektionsbedarf anpassen. Projekte könnten vergleichen, wie Details betrachtet und zugleich räumliche Übersicht erhalten werden.
Wichtige Bilder und interessante Stellen mit ihrem Ort in der untersuchten Umgebung verbinden. Das schafft eine Grundlage für fachliche Prüfung, Berichte und Nachbereitung.
Eine Zusammenarbeit könnte Roboter, Kameras und Inspektionsverfahren anbinden und den gesamten Ablauf von der Fernbedienung bis zur fachlichen Auswertung evaluieren.
Forschung und Zusammenarbeit entdecken →Eine VR-Bedienperson führt einen mobilen Roboter und überwacht seine Kamerasichten.
Eine rekonstruierte Tunnelumgebung in VR erkunden.









Diese Arbeit ist Teil von DDIA, Data Driven Immersive Analytics in Digital Industries.
DDIA ist ein FFG COMET-Modul (2022–2026) bei Know Center Research GmbH.