Nouveautés

Une IA regarde une scène et commande les gestes d’un robot en temps réel, mais ses résultats restent simulés

Par Rédaction Robotique Store

Illustration : jambes d'un robot humanoïde générique en lien avec le contrôle robotique par modèle d'intelligence artificielle
FLUX-mimic-x revendique 51,4 % de réussite sur RoboLab-120 en simulation, sans utiliser de données de simulation pendant son entraînement. © Robotique Store

Mimic Robotics annonce FLUX-mimic-x, un modèle de contrôle robotique de 7 milliards de paramètres fondé sur FLUX 3. L’entreprise suisse revendique 51,4 % de réussite sur RoboLab-120, un référence de manipulation robotique en simulation développé par NVIDIA.

Basée à Zurich, Mimic Robotics présente FLUX-mimic-x comme un modèle capable de transformer des informations visuelles en commandes motrices en temps réel. Cette annonce, diffusée sur X avec trois diapositives, concerne une nouvelle architecture logicielle destinée au contrôle des robots, et non le lancement d’un robot physique commercialisé. Les résultats communiqués correspondent à des évaluations en simulation.

Vidéo publiée par @mimicrobotics sur X

Un modèle de 7 milliards de paramètres fondé sur la génération vidéo

La première version reposait sur Cosmos-Predict2 de NVIDIA, un modèle de 2 milliards de paramètres. Mimic Robotics a ensuite adopté FLUX 3 de Black Forest Labs avec FLUX-mimic, avant de présenter cette nouvelle déclinaison FLUX-mimic-x.

Un taux de réussite annoncé de 51,4 % sur RoboLab-120

Selon Mimic Robotics, FLUX-mimic-x atteint 51,4 % de réussite sur RoboLab-120 dans sa version affinée avec le jeu de données DROID. Une seconde configuration présentée par l’entreprise obtient 48,9 %.

RoboLab-120 est un référence de NVIDIA composé de 120 tâches de manipulation simulées avec un bras robotique Franka. Chaque tâche est exécutée dix fois pour évaluer les performances des modèles.

Mimic revendique le meilleur résultat parmi les modèles de contrôle rapide de type « system 1 », qui convertissent directement les observations des caméras en commandes motrices.

Les comparaisons communiquées par Mimic Robotics comprennent plusieurs architectures concurrentes :

  • FLUX 3 Action de Black Forest Labs : 42,9 % de réussite.
  • GR00T 2 de NVIDIA : 47,4 % selon le graphique de Mimic.
  • Praxis-1 de Runway : 46,2 %.
  • Cosmos 3 Nano de NVIDIA : 36,8 %.
  • π0.5 de Physical Intelligence : 28,0 %.
  • GR00T N1.6 de NVIDIA : 7,2 %.

Le résultat revendiqué pour FLUX-mimic-x dépasse ainsi celui de FLUX 3 Action de 8,5 points de pourcentage. Les deux modèles reposent sur la même base FLUX 3, mais utilisent des adaptations différentes pour produire des actions robotiques.

Des systèmes robotiques dépassent déjà ce score sur le classement public

Le classement public complet de RoboLab comprend également des systèmes agentiques faisant appel à des modèles avancés.

Sur ce classement, AMP1 atteint 86,0 % de réussite et SenseNova-RoboRSI 57,1 %. Deux autres modèles figurent à proximité du résultat annoncé par Mimic : Lakeside, un modèle de monde latent de 5 milliards de paramètres, atteint 51,0 %, tandis que BiMind v0.5, un VLA de 8 milliards de paramètres affiné sur des données RoboLab, obtient 49,2 %.

Le score de FLUX-mimic-x reste un résultat communiqué par Mimic Robotics : le modèle ne figure pas encore dans le classement public de NVIDIA. Les soumissions à ce référence sont temporairement suspendues pendant une révision de la procédure.

Un entraînement reposant sur des données de manipulation robotique

Mimic Robotics affirme que FLUX-mimic-x n’a utilisé aucune donnée de simulation pendant son entraînement. L’entreprise indique également que le modèle n’a reçu aucune donnée provenant du robot utilisé dans RoboLab, à l’exception des informations déjà présentes dans le jeu de données DROID.

Ce jeu de données ouvert rassemble des démonstrations de manipulation réalisées avec des robots Franka à un seul bras.

La composition de l’entraînement présentée par Mimic fait également intervenir plusieurs configurations robotiques. Sur l’ensemble des entrées échantillonnées, 36,8 % proviennent de robots à deux bras équipés de mains dextres et 21,2 % de robots à deux bras utilisant des pinces.

Cette diversité de configurations fait partie de l’approche retenue par l’entreprise pour entraîner son modèle de contrôle.

Des applications industrielles déjà évoquées pour la génération précédente

FLUX-mimic-x succède à FLUX-mimic, une précédente version fondée sur FLUX 3. Black Forest Labs avait indiqué que cette génération avait été testée et déployée chez Audi pour des opérations de manipulation industrielle.

Les tâches mentionnées comprenaient le placement de pièces dans des plateaux et l’insertion de calculateurs électroniques dans des dispositifs de maintien.

Pour cette version antérieure, Black Forest Labs annonçait un temps d’exécution inférieur à 80 millisecondes sur une seule carte NVIDIA RTX 5090 pour le modèle de base, ainsi qu’un temps de réaction de 101 millisecondes pour le système robotique complet.

Concernant FLUX-mimic-x, Mimic Robotics annonce une exécution directement sur l’appareil et en temps réel. Ces caractéristiques correspondent à la nouvelle version présentée par l’entreprise, tandis que les essais industriels chez Audi concernent la génération FLUX-mimic précédente.

Rédaction Robotique Store

Tous ses articles →

Une erreur dans cet article ? Signalez-la

La newsletter

Recevez les nouveautés sur les robots humanoïdes

Une sélection des annonces, des prix et des démonstrations, sans publicité. Désinscription en un clic.

À découvrir

La suite, sélectionnée pour vous.