NVIDIA dévoile Flora, une suite de trois modèles d’intelligence artificielle conçus pour transformer les vidéos de robots et de gestes humains en données d’entraînement. Déjà intégrée au pipeline GR00T, elle automatise l’identification, la description et l’évaluation des actions.
Présenté le 20 octobre par l’équipe de recherche GEAR de NVIDIA, Flora s’attaque à une étape importante du développement des robots : préparer les vidéos utilisées pour entraîner leurs modèles d’intelligence artificielle. Une démonstration filmée doit être découpée en actions, accompagnée d’une description et évaluée pour déterminer si le mouvement a été correctement exécuté. Flora automatise ces opérations afin de faciliter l’exploitation de grandes collections de vidéos.
Trois modèles pour identifier, décrire et évaluer les gestes
Flora repose sur trois modèles spécialisés, chacun chargé d’une étape du traitement des vidéos :
- Flora-TempSeg découpe les enregistrements en séquences correspondant à des actions individuelles et identifie leurs intervalles temporels.
- Flora-Captioner produit une description en langage naturel de l’action recherchée dans chaque séquence, en tenant compte des images qui l’entourent.
- Flora-Rewarder évalue la qualité de l’exécution et attribue des scores à une tentative complète ou à certaines de ses étapes.
Selon le chercheur Yunze Man, cette chaîne de traitement fonctionne avec des vidéos montrant des mains humaines, des pinces robotiques et des mains robotiques dextres. Les descriptions horodatées permettent notamment de filtrer et d’équilibrer les jeux de données destinés à l’apprentissage.
Flora distingue l’action recherchée de sa réussite
L’une des fonctions importantes de Flora consiste à séparer l’intention du mouvement de son résultat réel. Lorsqu’un robot tente de saisir un objet sans y parvenir, Flora-Captioner peut décrire l’action recherchée, tandis que Flora-Rewarder évalue séparément son exécution.
Cette distinction permet d’éviter qu’un échec soit considéré comme une démonstration réussie lors de la préparation des données d’entraînement.
Selon la fiche du modèle Flora-Rewarder, les évaluations globales utilisent une échelle de 1 à 5 pour mesurer la réussite d’une tentative. Le système peut également distinguer les actions normales, les exécutions sous-optimales et les échecs. Il prend aussi en charge une évaluation fondée sur une succession de critères propres à la tâche.
Ces annotations peuvent servir à mesurer les performances des robots et à préparer des phases d’entraînement complémentaires par apprentissage par renforcement.
NVIDIA annonce le traitement de 200 000 heures de vidéo par jour
NVIDIA indique que Flora a déjà traité 200 000 heures de vidéo par jour avec 512 GPU GB300. Ce chiffre correspond au volume de vidéos annotées quotidiennement dans cette configuration matérielle, et non à de nouvelles heures d’expérience robotique ou d’entraînement.
Enact Intelligence lève 30 millions $ pour des robots qui « sentent » les résistances d’assemblage
Cette capacité annoncée repose sur une infrastructure de calcul importante. Elle illustre l’objectif de NVIDIA : automatiser l’annotation de grandes quantités de vidéos pour alimenter les systèmes d’apprentissage robotique.
Flora prend déjà en charge le pipeline d’entraînement GR00T de NVIDIA. Les données produites peuvent notamment faciliter la sélection des démonstrations et l’évaluation des comportements pendant le développement des modèles robotiques.
Des performances comparées à GPT-6 Astra pour l’annotation robotique
NVIDIA affirme obtenir avec Flora une qualité d’annotation concurrentielle face à GPT-6 Astra, pour un coût environ 125 fois inférieur sur les tâches d’annotation robotique évaluées par son équipe.
Les résultats présentés varient toutefois selon les mesures. Flora obtient de meilleurs résultats sur le score joint F1 de description des vidéos humaines et sur le macro F1 utilisé pour l’évaluation dense des récompenses. GPT-6 Astra conserve l’avantage sur le score joint F1 de description des vidéos robotiques.
Ces comparaisons portent sur des tâches spécialisées d’annotation et d’évaluation vidéo, et non sur les capacités générales des modèles d’intelligence artificielle.
Les modèles Flora sont accessibles sur Hugging Face
NVIDIA a publié une collection Flora sur Hugging Face réunissant les trois composants : TempSeg, Captioner et Rewarder. Les fiches techniques de Captioner et Rewarder les présentent comme des modèles dérivés de Qwen3.5-27B.
Les développeurs peuvent ainsi accéder aux composants spécialisés de Flora pour travailler sur la segmentation des gestes, la génération de descriptions et l’évaluation des exécutions robotiques. Le projet s’accompagne également d’un article de recherche, de résultats de benchmarks et d’exemples d’utilisation.