Une revue scientifique publiée le 28 juillet 2026 analyse 130 études consacrées à l’apprentissage par renforcement des robots sur des tâches longues. Elle révèle une forte croissance des recherches, mais aussi une concentration des travaux sur certaines difficultés.
Empiler des blocs, assembler plusieurs pièces ou ranger une cuisine nécessite d’enchaîner des actions dans un ordre précis. Pour les robots, apprendre ces manipulations reste complexe. Les chercheurs Matthew Acs et Xiangnan Zhong ont étudié les travaux scientifiques consacrés à ce problème dans une revue publiée dans la revue Discover Robotics, en suivant les recommandations méthodologiques PRISMA-ScR.
Des robots confrontés à des tâches composées de plusieurs étapes dépendantes
La manipulation robotique à long horizon désigne les tâches dont la réussite dépend d’une succession d’actions, de compétences ou de contacts physiques interdépendants. Elle concerne notamment le réarrangement de plusieurs objets, l’assemblage, l’utilisation d’outils et certaines activités domestiques.
La difficulté vient notamment de la manière dont les robots apprennent. Avec l’apprentissage par renforcement, un système ajuste son comportement à partir des récompenses obtenues lors de ses interactions, plutôt qu’en suivant uniquement des instructions programmées à l’avance.
Lorsqu’une récompense intervient seulement à la fin d’une tâche, le système doit déterminer quelles décisions antérieures ont contribué à sa réussite. Plus la succession d’actions est longue, plus cette attribution devient difficile.
L’exploration de nouvelles stratégies devient également coûteuse lorsque les récompenses sont rares. Le robot doit en parallèle coordonner la perception de son environnement, la planification des actions et leur exécution, sur différentes échelles de temps.
Une progression de 5 à 41 publications annuelles entre 2020 et 2025
Les chercheurs ont recensé 130 études publiées entre 2020 et 2026 sur l’apprentissage par renforcement appliqué aux manipulations robotiques à long horizon.
Leur recherche a porté sur cinq bases scientifiques : IEEE Xplore, ACM Digital Library, Scopus, Web of Science et PubMed. Une première recherche, couvrant janvier 2020 à octobre 2025, a identifié 1 316 références. Après suppression des doublons et examen des critères d’éligibilité, 104 études ont été retenues. Une actualisation menée jusqu’en juin 2026 en a ajouté 26.
Selon Matthew Acs et Xiangnan Zhong, le nombre annuel de publications est passé de 5 études en 2020 à 41 en 2025, soit une multiplication par plus de huit. La progression s’est accélérée entre 2020 et 2023, avant une stabilisation en 2024.
Les travaux se concentrent principalement dans les conférences et publications spécialisées en robotique :
- International Conference on Robotics and Automation (ICRA) : 22 publications.
- IEEE Robotics and Automation Letters : 16 publications.
- Conference on Robot Learning (CoRL) : 10 publications.
- International Conference on Intelligent Robots and Systems (IROS) : 9 publications.
Les auteurs observent également que les publications dans les revues scientifiques, initialement peu nombreuses, ont presque rejoint celles des conférences en 2024. Ils interprètent cette évolution comme un signe de maturation du domaine.
Des recherches concentrées sur une partie des difficultés de manipulation
Au-delà de la croissance du nombre de publications, les auteurs constatent une concentration des efforts scientifiques sur certains aspects du problème, tandis que d’autres difficultés liées aux longues séquences de manipulation restent relativement peu étudiées.
Cette observation concerne directement les robots destinés aux opérations d’assemblage ou aux activités domestiques. Leur apprentissage nécessite de gérer des objectifs intermédiaires, des actions dépendantes et des résultats parfois évaluables seulement après plusieurs manipulations.
Pour délimiter précisément leur analyse, les chercheurs ont écarté les travaux principalement consacrés à la navigation, à la locomotion, aux robots aériens et à la coordination entre plusieurs agents. Les recherches centrées sur les grands modèles de langage, les modèles de fondation ou les systèmes vision-langage-action ont également été exclues lorsque l’apprentissage par renforcement ne constituait pas leur contribution principale. Les tâches de préhension isolées et les commandes réactives courtes ont suivi le même traitement.
Une revue scientifique dont les auteurs exposent les limites méthodologiques
Matthew Acs et Xiangnan Zhong indiquent que leur revue n’a pas fait l’objet d’un enregistrement préalable. Ils précisent également que la sélection et la classification des études n’ont pas bénéficié d’une double évaluation indépendante formalisée ni de statistiques mesurant l’accord entre évaluateurs.
Une partie des décisions de classification repose donc sur l’interprétation individuelle des chercheurs. Cette caractéristique méthodologique doit être prise en compte pour apprécier la répartition des travaux recensés et les domaines de recherche identifiés comme moins explorés.