Eine am 28. Juli 2026 veröffentlichte wissenschaftliche Übersichtsarbeit wertet 130 Studien zum bestärkenden Lernen von Robotern bei langen Aufgaben aus. Sie zeigt ein starkes Wachstum der Forschung, aber auch eine Konzentration der Arbeiten auf bestimmte Schwierigkeiten.
Blöcke stapeln, mehrere Teile montieren oder eine Küche aufräumen: Dafür müssen Handlungen in einer genauen Reihenfolge aufeinander folgen. Für Roboter ist es nach wie vor kompliziert, solche Handhabungen zu erlernen. Die Forscher Matthew Acs und Xiangnan Zhong haben die wissenschaftlichen Arbeiten zu diesem Problem in einer Übersichtsarbeit untersucht, die in der Fachzeitschrift Discover Robotics erschienen ist. Dabei folgten sie den methodischen Empfehlungen von PRISMA-ScR.
Roboter vor Aufgaben aus mehreren voneinander abhängigen Schritten
Robotische Manipulation mit langem Zeithorizont bezeichnet Aufgaben, deren Erfolg auf einer Abfolge ineinandergreifender Aktionen, Fähigkeiten oder physischer Kontakte beruht. Dazu zählen insbesondere das Umordnen mehrerer Objekte, die Montage, der Einsatz von Werkzeugen und bestimmte Tätigkeiten im Haushalt.
Die Schwierigkeit liegt nicht zuletzt in der Art, wie Roboter lernen. Beim bestärkenden Lernen (Reinforcement Learning) passt ein System sein Verhalten anhand der Belohnungen an, die es bei seinen Interaktionen erhält, statt ausschließlich vorab programmierten Anweisungen zu folgen.
Erfolgt eine Belohnung erst am Ende einer Aufgabe, muss das System ermitteln, welche früheren Entscheidungen zum Erfolg beigetragen haben. Je länger die Abfolge der Aktionen, desto schwieriger wird diese Zuordnung.
Auch das Erkunden neuer Strategien wird aufwendig, wenn Belohnungen selten sind. Parallel dazu muss der Roboter die Wahrnehmung seiner Umgebung, die Planung der Aktionen und deren Ausführung auf unterschiedlichen Zeitskalen koordinieren.
Zahl der Studien steigt zwischen 2020 und 2025 von 5 auf 41 pro Jahr
Die Forscher haben 130 zwischen 2020 und 2026 veröffentlichte Studien zum bestärkenden Lernen für robotische Manipulation mit langem Zeithorizont erfasst.
Durchsucht wurden fünf wissenschaftliche Datenbanken: IEEE Xplore, ACM Digital Library, Scopus, Web of Science und PubMed. Eine erste Suche für den Zeitraum Januar 2020 bis Oktober 2025 ergab 1.316 Treffer. Nach dem Entfernen von Dubletten und der Prüfung der Einschlusskriterien blieben 104 Studien übrig. Eine Aktualisierung bis Juni 2026 brachte 26 weitere hinzu.
Laut Matthew Acs und Xiangnan Zhong stieg die Zahl der jährlichen Veröffentlichungen von 5 Studien im Jahr 2020 auf 41 im Jahr 2025, also auf mehr als das Achtfache. Zwischen 2020 und 2023 beschleunigte sich das Wachstum, 2024 stabilisierte es sich.
Die Arbeiten erscheinen vor allem auf Fachkonferenzen und in Fachpublikationen der Robotik:
- International Conference on Robotics and Automation (ICRA): 22 Veröffentlichungen.
- IEEE Robotics and Automation Letters: 16 Veröffentlichungen.
- Conference on Robot Learning (CoRL): 10 Veröffentlichungen.
- International Conference on Intelligent Robots and Systems (IROS): 9 Veröffentlichungen.
Die Autoren stellen zudem fest, dass die anfangs wenigen Beiträge in Fachzeitschriften 2024 nahezu zu den Konferenzbeiträgen aufgeschlossen haben. Sie deuten diese Entwicklung als Zeichen dafür, dass das Forschungsfeld reifer wird.
Forschung konzentriert sich auf einen Teil der Manipulationsprobleme
Über das Wachstum der Publikationszahlen hinaus stellen die Autoren eine Konzentration der wissenschaftlichen Anstrengungen auf bestimmte Aspekte des Problems fest, während andere Schwierigkeiten langer Manipulationsabfolgen vergleichsweise wenig untersucht sind.
Diese Beobachtung betrifft unmittelbar Roboter, die für Montagearbeiten oder Haushaltstätigkeiten vorgesehen sind. Um sie anzulernen, müssen Zwischenziele, voneinander abhängige Aktionen und Ergebnisse berücksichtigt werden, die sich mitunter erst nach mehreren Handgriffen bewerten lassen.
Um ihre Analyse klar abzugrenzen, haben die Forscher Arbeiten ausgeschlossen, die sich vorrangig mit Navigation, Fortbewegung, Flugrobotern oder der Koordination mehrerer Agenten befassen. Auch Studien mit Schwerpunkt auf Large Language Models, Foundation Models oder Vision-Language-Action-Systemen blieben außen vor, sofern bestärkendes Lernen nicht ihr Hauptbeitrag war. Gleiches gilt für isolierte Greifaufgaben und kurze reaktive Steuerungen.
Methodische Grenzen der Übersichtsarbeit laut den Autoren
Matthew Acs und Xiangnan Zhong geben an, dass ihre Übersichtsarbeit nicht vorab registriert wurde. Zudem weisen sie darauf hin, dass Auswahl und Klassifizierung der Studien weder einer formalisierten doppelten, unabhängigen Bewertung unterzogen noch durch Statistiken zur Übereinstimmung zwischen den Bewertern abgesichert wurden.
Ein Teil der Klassifizierungsentscheidungen beruht somit auf der individuellen Einschätzung der Forscher. Diese methodische Eigenschaft ist zu berücksichtigen, wenn die Verteilung der erfassten Arbeiten und die als weniger erforscht eingestuften Forschungsbereiche bewertet werden.