Nouveautés

Apprendre à manipuler des objets avec moins d’exemples : l’IA de XPENG progresse grâce à la vision

Par Rédaction Robotique Store

GroundingPI, le modèle de perception visuelle présenté par XPENG pour améliorer la localisation des objets et la manipulation robotique
GroundingPI, le modèle de perception visuelle présenté par XPENG pour améliorer la localisation des objets et la manipulation robotique. © XPENG

XPENG met en avant GroundingPI, un modèle de perception visuelle d’environ 4 milliards de paramètres. Testée en simulation, cette technologie améliore l’apprentissage de la manipulation robotique, notamment avec moins de démonstrations d’entraînement.

Dans une annonce publiée le 4 novembre, XPENG présente les travaux de recherche menés avec l’Université de Pékin, l’Université de Hong Kong et d’autres établissements universitaires. GroundingPI vise à permettre aux systèmes d’intelligence artificielle de localiser précisément des objets et leurs différentes parties. Il s’agit d’un projet de recherche ouvert, et non de l’annonce d’une intégration dans le robot humanoïde IRON ou d’un lancement commercial.

GroundingPI localise les objets et leurs parties pour guider les actions robotiques

GroundingPI repose sur une approche de perception visuelle capable de représenter les positions dans une image à l’aide de points et de rectangles de délimitation. Le système peut ainsi identifier une partie particulière d’un objet, comme l’anse d’une tasse, et transmettre sa position à un autre système chargé de réaliser une action.

Selon les chercheurs, le modèle utilise un vocabulaire commun de coordonnées pour plusieurs tâches : détection d’objets, reconnaissance de texte, compréhension des interfaces et perception spatiale.

Cette approche permet de produire des informations directement exploitables par un système de commande robotique, plutôt que de se limiter à une description textuelle de l’environnement.

Des résultats mesurés sur 34 benchmarks de perception visuelle

Les chercheurs ont évalué GroundingPI sur 34 benchmarks répartis en 11 catégories de capacités. Selon leurs résultats, le modèle obtient un score agrégé de 73,68, contre 71,54 pour GPT-6 Astra.

Homme en polo noir présentant un robot humanoïde à tête noire et corps blanc devant un groupe de visiteurs dans un environnement industriel
XPENG mène ses travaux de recherche en collaboration avec l'Université de Pékin et l'Université de Hong Kong. © XPeng

Ce classement repose sur une pondération identique des différentes catégories et concerne uniquement les capacités évaluées dans cette batterie de tests de perception. Il ne constitue pas une comparaison générale des performances en raisonnement ou en intelligence artificielle.

Les chercheurs ont également identifié des difficultés persistantes dans certaines tâches de localisation de petits objets et de reconnaissance de texte.

La manipulation humanoïde progresse avec moins de démonstrations

Les expériences robotiques constituent le principal intérêt de GroundingPI pour les développeurs de robots humanoïdes. Les chercheurs ont associé plusieurs modèles de perception visuelle préentraînés à une même architecture de commande des actions, afin de comparer leur influence sur l’apprentissage.

Pour chaque référence, les données d’entraînement des actions, le budget d’optimisation et les autres paramètres de la politique robotique ont été maintenus constants.

Les évaluations ont porté sur deux environnements de simulation :

  • RoboTwin 2.0 : des tâches de manipulation avec deux bras robotiques montés sur une base fixe.
  • RoboCasa-GR1 : des tâches de manipulation humanoïde utilisant des mains capables de mouvements précis.

Dans RoboCasa-GR1, selon les chercheurs, GroundingPI conserve son avantage avec seulement la moitié des démonstrations disponibles, tandis que les modèles comparés utilisent les trois quarts de ces démonstrations.

Le projet rapporte également des améliorations sur quatre tests RoboTwin réalisés dans des conditions différentes de celles rencontrées pendant l’entraînement.

Ces résultats suggèrent qu’une perception visuelle plus précise peut améliorer l’efficacité de l’apprentissage des gestes robotiques en simulation.

Une technologie de recherche distincte du robot humanoïde IRON

GroundingPI présente une particularité importante : son entraînement à la perception visuelle ne repose pas sur des données décrivant les actions des robots. En revanche, les systèmes de commande qui exploitent cette perception continuent d’apprendre à partir de démonstrations robotiques.

Robot humanoïde blanc marchant le long d'une ligne de production équipée de bras robotiques industriels orange sous enceinte vitrée
GroundingPI reste un projet de recherche ouvert, sans intégration annoncée dans le robot humanoïde IRON. © XPeng

Les expériences ne montrent donc pas un robot capable d’apprendre une nouvelle tâche physique sans données d’action. La gestion des mouvements, des contacts avec les objets et des corrections pendant l’exécution reste assurée par le système de commande associé.

Les résultats concernent des environnements simulés et non une démonstration de manipulation sur un robot humanoïde physique. L’annonce de XPENG ne correspond pas à une commercialisation de GroundingPI ni à son déploiement dans IRON.

Un projet de recherche rendu public avant l’annonce de XPENG

Les travaux scientifiques consacrés à GroundingPI ont été publiés le 30 septembre. Les poids du modèle et son code ont ensuite été diffusés au début du mois d’octobre, dans le cadre du projet de recherche ouvert.

L’annonce du 4 novembre met ainsi en lumière une technologie déjà rendue publique, dont les résultats expérimentaux concernent principalement la perception visuelle et l’apprentissage de la manipulation robotique en simulation.

Rédaction Robotique Store

Tous ses articles →

Une erreur dans cet article ? Signalez-la

La newsletter

Recevez les nouveautés sur les robots humanoïdes

Une sélection des annonces, des prix et des démonstrations, sans publicité. Désinscription en un clic.

À découvrir

La suite, sélectionnée pour vous.