Alibaba et sa filiale Amap présentent λ0, un modèle d’intelligence artificielle qui entraîne les robots humanoïdes à partir de mouvements humains. Selon les résultats communiqués, cette approche accélère la collecte des données et améliore la réussite des tâches sur robots réels.
Développé conjointement par Amap et le groupe d’affaires ATH d’Alibaba, λ0 repose sur une méthode d’apprentissage des mouvements du corps entier. L’objectif est de transférer aux robots des gestes humains combinant déplacement, posture et manipulation à deux mains, sans dépendre exclusivement des démonstrations enregistrées directement sur des machines. Cette approche cible notamment les opérations nécessitant des déplacements et des manipulations successives dans les entrepôts, les commerces et les environnements domestiques.
La collecte des mouvements humains réduit le temps nécessaire à l’entraînement
La méthode traditionnelle de collecte de données robotiques repose notamment sur la téléopération de machines physiques. Elle mobilise du matériel spécialisé et nécessite des interventions humaines pour réinitialiser les situations d’apprentissage.
Avec λ0, Amap privilégie une collecte réalisée directement par des personnes équipées de dispositifs grand public. Les mouvements sont enregistrés dans des environnements quotidiens, puis traités pour servir à l’entraînement des robots.
Selon les mesures présentées par Amap sur des tâches représentatives, le temps de collecte d’une démonstration passe d’environ 100 secondes avec une collecte sur robot à 29 secondes avec la méthode humaine. Le constructeur annonce ainsi une efficacité de collecte environ 3,4 fois supérieure.
Cette méthode vise à faciliter l’augmentation des volumes de données d’entraînement, sans multiplier proportionnellement les opérations de téléopération sur des robots physiques.
HumanVerse-500 rassemble 500 heures de mouvements du corps entier
Pour entraîner λ0, Amap a constitué HumanVerse-500, un jeu de données comprenant 500 heures d’enregistrements de mouvements humains du corps entier dans des environnements ouverts.
Le système associe les informations visuelles, les déplacements du corps et les mouvements des mains. L’apprentissage s’organise ensuite en trois étapes : les interactions manuelles, la coordination du corps entier et l’adaptation à la morphologie humanoïde.
Cette organisation répond à une difficulté des modèles vision-langage-action (VLA) principalement entraînés sur des interactions locales. Les données centrées sur les bras et les mains ne représentent pas toujours les mouvements simultanés du tronc, des articulations et du reste du corps.
λ0 intègre également des mécanismes d’alignement des perspectives et des mouvements humains et robotiques. Ils servent à adapter les démonstrations aux différences de morphologie et aux contraintes des contrôleurs des robots, notamment lors des contacts physiques avec les objets.
Les essais sur robots réels affichent un taux de réussite supérieur de 22,5 %
Les évaluations présentées par Amap comprennent le référence de simulation SIMPLE et plusieurs essais sur des robots physiques. L’entreprise revendique des performances de premier plan dans ces évaluations.
Amap annonce une amélioration de 22,5 % du taux de réussite des tâches sur robots réels par rapport à la méthode de référence la plus performante retenue dans sa comparaison.
Les chercheurs rapportent également un transfert sans entraînement supplémentaire spécifique, ou zero-shot, sur des robots réels pour 7 tâches associant coordination du corps entier et déplacements sur de longues distances. Ces résultats reposent sur l’utilisation de données de mouvements humains.
Les expérimentations indiquent aussi qu’à quantité identique de démonstrations robotiques, l’augmentation du volume de données humaines du corps entier améliore les performances des tâches réalisées sur les robots physiques.
Alibaba ouvre une partie des ressources aux développeurs
La collaboration entre Amap et le groupe ATH d’Alibaba couvre la collecte des mouvements humains, leur adaptation aux robots humanoïdes et l’évaluation des capacités sur des machines physiques.
Les applications envisagées concernent notamment la logistique et l’inspection, où les robots doivent coordonner déplacements, changements de posture et manipulations dans des environnements variés.
Amap a rendu accessibles sur GitHub les codes de configuration matérielle associés au projet. Des exemples du jeu de données HumanVerse-500 sont également disponibles sur Hugging Face, afin de permettre aux développeurs et aux équipes de recherche d’expérimenter cette méthode d’apprentissage des mouvements humains.