Mundo, développé en collaboration avec le S-Lab de la Nanyang Technological University, transforme des images en environnements 3D interactifs. Ce modèle de monde associe simulation physique et génération vidéo pour entraîner les robots à naviguer et à manipuler des objets.
Présenté comme un nouvel outil de simulation robotique, Mundo permet de reconstruire des lieux, de modifier leur contenu par programmation et de calculer les conséquences physiques des actions. Les démonstrations décrites montrent notamment des scènes explorables sous différents angles, des objets soumis à des forces et des robots exécutant des tâches virtuelles. L’objectif est de disposer d’environnements personnalisés pour préparer et analyser les comportements robotiques avant leur application dans des lieux réels.
Des environnements 3D reconstruits à partir de 1 à 12 images
Dans les démonstrations présentées, Mundo utilise entre 1 et 12 images pour reconstruire des pièces et permettre leur exploration virtuelle. Le système analyse la disposition des meubles, les dimensions des objets et les relations spatiales entre les différentes vues.
Un détecteur tridimensionnel établit une première représentation de la scène. Un agent reposant sur un modèle vision-langage ajuste ensuite les positions et les dimensions des éléments en comparant les rendus aux images fournies.
D’ici 2030, un million de puces IA équiperont les robots humanoïdes lancés dans le monde
Lorsque la caméra virtuelle se déplace, Mundo conserve les contraintes visuelles des zones photographiées et génère les parties qui ne figurent pas dans les images initiales. Le système peut également prolonger l’univers visuel d’une illustration ou d’une image générée.
Pour les espaces plus vastes, Mundo exploite plusieurs dizaines d’images contextuelles. Il sélectionne les références adaptées à chaque portion du parcours et assemble les séquences en conservant une représentation tridimensionnelle commune. Cette méthode permet de produire des explorations continues allant de plusieurs dizaines de secondes à plusieurs minutes, selon les capacités présentées.
Un moteur physique pour simuler les mouvements et les collisions
Mundo ne se limite pas à produire des images d’environnements virtuels. Son architecture associe une représentation tridimensionnelle, des programmes de scène, un moteur physique et un modèle de génération vidéo.
Les programmes décrivent les objets présents, leurs dimensions, leurs positions et leurs orientations. Ils permettent également de définir des propriétés physiques comme la masse et la friction.
Malgré des investissements massifs, les robots humanoïdes en sont encore aux essais commerciaux
Des scripts déterminent ensuite les actions à exécuter et les forces appliquées. Le moteur physique calcule les mouvements, les contacts et les collisions en tenant compte notamment de la gravité. Le modèle vidéo génère les images correspondant aux résultats calculés.
Les interactions présentées comprennent plusieurs opérations :
- Pousser ou tirer des objets dans une scène virtuelle.
- Ouvrir des tiroirs et observer leurs déplacements.
- Modifier les matériaux ou les conditions de gravité.
- Visualiser les vitesses, les points de contact et les forces d’impact.
Les positions des objets et les modifications de la scène sont conservées dans la représentation intermédiaire et les programmes associés. Les utilisateurs peuvent ainsi suivre l’évolution d’un environnement après une interaction, plutôt que de visualiser uniquement une séquence vidéo.
Des simulations pour entraîner les robots à naviguer et manipuler des objets
L’une des applications de Mundo concerne la préparation des tâches robotiques. Le modèle permet de construire des scènes personnalisées dans lesquelles différents robots peuvent être représentés pendant des opérations de navigation ou de manipulation.
Pour la navigation, la représentation tridimensionnelle fournit les catégories d’objets, leurs positions, les obstacles et les zones praticables. Un planificateur utilise ces informations pour rechercher des trajectoires. Mundo peut ensuite générer des vues à la première ou à la troisième personne montrant les déplacements virtuels des robots.
Pour la manipulation, le système associe la géométrie des objets à leurs propriétés physiques. Les tâches présentées comprennent le placement d’une pomme dans un bol, le dépôt d’une boîte de conserve sur un plateau et l’empilement de blocs.
Ces exercices peuvent être représentés avec des robots de morphologies différentes. Mundo génère notamment des vues extérieures et des images correspondant aux caméras placées sur la tête ou les poignets des robots.
Le système conserve également les trajectoires des tâches et les états des interactions physiques. Cette correspondance entre les observations visuelles et les mouvements calculés permet d’examiner les étapes d’une manipulation et de comparer différentes stratégies dans un environnement simulé.
Une exploration spatio-temporelle pour analyser les mouvements
Mundo propose aussi une fonction d’exploration temporelle. Des événements dynamiques capturés par plusieurs caméras peuvent être représentés depuis de nouveaux points de vue.
Dans les scènes simulées à partir d’images, les mouvements reposent sur les calculs de gravité et de dynamique des contacts. L’utilisateur peut interrompre une séquence à un instant donné, déplacer la caméra virtuelle et observer la même action sous différents angles.
Cette fonction, comparable à un effet de bullet time, sert à examiner les trajectoires, les contacts et les relations d’occlusion entre les objets pendant une action.
Mundo complète Kairos pour préparer les robots aux environnements réels
Mundo s’inscrit dans une architecture de modèles de monde dont Kairos constitue le cœur. Il apporte des fonctions complémentaires de reconstruction d’environnements spécifiques, de génération de données d’entraînement et de simulation physique.
Le modèle est également associé à Astra pour développer des capacités de compréhension spatiale. Cette combinaison vise à relier la représentation des environnements, leur modification programmable et l’analyse des interactions robotiques.
L’application industrielle envisagée consiste à utiliser des données recueillies sur site pour construire des scènes virtuelles adaptées aux futurs lieux de travail des robots. Les trajectoires et les stratégies de manipulation peuvent alors être étudiées dans ces environnements avant leur mise en œuvre physique.
Les capacités présentées concernent la reconstruction et la simulation d’environnements ainsi que la génération d’observations robotiques. Les exemples décrits correspondent à des démonstrations virtuelles, et non à des performances mesurées de robots physiques en situation de travail.