Mundo wurde gemeinsam mit dem S-Lab der Nanyang Technological University entwickelt und wandelt Bilder in interaktive 3D-Umgebungen um. Das Weltmodell verbindet physikalische Simulation mit Videogenerierung, um Roboter für Navigation und Objektmanipulation zu trainieren.
Mundo wird als neues Werkzeug für die Robotersimulation vorgestellt. Es kann Orte rekonstruieren, deren Inhalt per Programmierung verändern und die physikalischen Folgen von Aktionen berechnen. Die beschriebenen Demonstrationen zeigen unter anderem Szenen, die sich aus verschiedenen Blickwinkeln erkunden lassen, Objekte unter Krafteinwirkung und Roboter, die virtuelle Aufgaben ausführen. Ziel ist es, individuell angepasste Umgebungen bereitzustellen, in denen sich das Verhalten von Robotern vorbereiten und analysieren lässt, bevor es an realen Orten zum Einsatz kommt.
3D-Umgebungen aus 1 bis 12 Bildern rekonstruiert
In den gezeigten Demonstrationen nutzt Mundo zwischen 1 und 12 Bilder, um Räume zu rekonstruieren und virtuell begehbar zu machen. Das System analysiert dabei die Anordnung der Möbel, die Abmessungen der Objekte und die räumlichen Beziehungen zwischen den einzelnen Ansichten.
Ein dreidimensionaler Detektor erstellt zunächst eine erste Darstellung der Szene. Anschließend korrigiert ein Agent auf Basis eines Vision-Language-Modells die Positionen und Abmessungen der Elemente, indem er die gerenderten Ansichten mit den gelieferten Bildern abgleicht.
Bewegt sich die virtuelle Kamera, hält Mundo die visuellen Vorgaben der fotografierten Bereiche ein und generiert die Teile, die auf den Ausgangsbildern nicht zu sehen sind. Zudem kann das System die Bildwelt einer Illustration oder eines generierten Bildes erweitern.
Für größere Räume greift Mundo auf mehrere Dutzend Kontextbilder zurück. Es wählt für jeden Abschnitt des Weges die passenden Referenzen aus und fügt die Sequenzen zusammen, wobei eine gemeinsame dreidimensionale Darstellung erhalten bleibt. Den vorgestellten Fähigkeiten zufolge lassen sich so durchgehende Erkundungsfahrten von mehreren Dutzend Sekunden bis zu mehreren Minuten erzeugen.
Physik-Engine für Bewegungen und Kollisionen
Mundo erzeugt nicht nur Bilder virtueller Umgebungen. Seine Architektur kombiniert eine dreidimensionale Darstellung, Szenenprogramme, eine Physik-Engine und ein Modell zur Videogenerierung.
Die Programme beschreiben die vorhandenen Objekte, ihre Abmessungen, Positionen und Ausrichtungen. Außerdem lassen sich damit physikalische Eigenschaften wie Masse und Reibung festlegen.
Skripte bestimmen anschließend die auszuführenden Aktionen und die wirkenden Kräfte. Die Physik-Engine berechnet Bewegungen, Kontakte und Kollisionen und berücksichtigt dabei unter anderem die Schwerkraft. Das Videomodell erzeugt die Bilder zu den berechneten Ergebnissen.
Die gezeigten Interaktionen umfassen mehrere Vorgänge:
- Objekte in einer virtuellen Szene schieben oder ziehen.
- Schubladen öffnen und ihre Bewegung beobachten.
- Materialien oder Schwerkraftbedingungen verändern.
- Geschwindigkeiten, Kontaktpunkte und Aufprallkräfte visualisieren.
Die Positionen der Objekte und die Änderungen an der Szene bleiben in der Zwischendarstellung und den zugehörigen Programmen gespeichert. Nutzer können so verfolgen, wie sich eine Umgebung nach einer Interaktion verändert, statt lediglich eine Videosequenz zu betrachten.
Simulationen für Robotertraining in Navigation und Objektmanipulation
Ein Anwendungsfeld von Mundo ist die Vorbereitung von Roboteraufgaben. Mit dem Modell lassen sich individuelle Szenen aufbauen, in denen verschiedene Roboter bei Navigations- oder Manipulationsaufgaben dargestellt werden können.
Für die Navigation liefert die dreidimensionale Darstellung die Objektkategorien, ihre Positionen, Hindernisse und befahrbare Bereiche. Ein Planer sucht anhand dieser Informationen nach Bewegungsbahnen. Mundo kann anschließend Ansichten aus der Ich- oder der Außenperspektive erzeugen, die die virtuellen Bewegungen der Roboter zeigen.
Bei der Manipulation verknüpft das System die Geometrie der Objekte mit ihren physikalischen Eigenschaften. Zu den gezeigten Aufgaben gehören das Legen eines Apfels in eine Schüssel, das Abstellen einer Konservendose auf einem Tablett und das Stapeln von Klötzen.
Diese Übungen lassen sich mit Robotern unterschiedlicher Bauform darstellen. Mundo erzeugt unter anderem Außenansichten sowie Bilder aus Sicht der Kameras am Kopf oder an den Handgelenken der Roboter.
Das System speichert außerdem die Bewegungsbahnen der Aufgaben und die Zustände der physikalischen Interaktionen. Diese Zuordnung zwischen visuellen Beobachtungen und berechneten Bewegungen ermöglicht es, die einzelnen Schritte einer Manipulation zu untersuchen und verschiedene Strategien in einer simulierten Umgebung zu vergleichen.
Räumlich-zeitliche Erkundung zur Bewegungsanalyse
Mundo bietet zudem eine Funktion zur zeitlichen Erkundung. Dynamische Ereignisse, die von mehreren Kameras erfasst wurden, lassen sich aus neuen Blickwinkeln darstellen.
In den aus Bildern simulierten Szenen beruhen die Bewegungen auf Berechnungen von Schwerkraft und Kontaktdynamik. Nutzer können eine Sequenz zu einem bestimmten Zeitpunkt anhalten, die virtuelle Kamera verschieben und dieselbe Aktion aus verschiedenen Winkeln betrachten.
Die Funktion ähnelt einem Bullet-Time-Effekt und dient dazu, Bewegungsbahnen, Kontakte und Verdeckungen zwischen Objekten während einer Aktion zu untersuchen.
Mundo ergänzt Kairos bei der Vorbereitung auf reale Umgebungen
Mundo ist Teil einer Architektur aus Weltmodellen, deren Kern Kairos bildet. Es steuert ergänzende Funktionen bei: die Rekonstruktion spezifischer Umgebungen, die Erzeugung von Trainingsdaten und die physikalische Simulation.
Außerdem ist das Modell mit Astra verknüpft, um Fähigkeiten zum räumlichen Verständnis zu entwickeln. Diese Kombination soll die Darstellung von Umgebungen, ihre programmierbare Veränderung und die Analyse robotischer Interaktionen miteinander verbinden.
Als industrielle Anwendung ist vorgesehen, vor Ort erhobene Daten zu nutzen, um virtuelle Szenen nachzubilden, die auf die künftigen Einsatzorte der Roboter zugeschnitten sind. Bewegungsbahnen und Manipulationsstrategien lassen sich dann in diesen Umgebungen untersuchen, bevor sie physisch umgesetzt werden.
Die vorgestellten Fähigkeiten betreffen die Rekonstruktion und Simulation von Umgebungen sowie die Erzeugung robotischer Beobachtungen. Bei den beschriebenen Beispielen handelt es sich um virtuelle Demonstrationen, nicht um gemessene Leistungen physischer Roboter im Arbeitseinsatz.