Alibaba und die Tochtergesellschaft Amap haben λ0 vorgestellt, ein KI-Modell, das humanoide Roboter anhand menschlicher Bewegungen trainiert. Den veröffentlichten Ergebnissen zufolge beschleunigt dieser Ansatz die Datenerfassung und verbessert die Erfolgsquote bei Aufgaben auf realen Robotern.
λ0 wurde gemeinsam von Amap und Alibabas Geschäftsbereich ATH entwickelt und basiert auf einer Methode zum Lernen von Ganzkörperbewegungen. Ziel ist es, menschliche Bewegungsabläufe, die Fortbewegung, Körperhaltung und beidhändige Manipulation kombinieren, auf Roboter zu übertragen. Dabei soll das System nicht ausschließlich auf Demonstrationen angewiesen sein, die direkt mit Maschinen aufgezeichnet wurden. Der Ansatz zielt vor allem auf Abläufe, bei denen sich Fortbewegung und Manipulation abwechseln, etwa in Lagerhallen, im Einzelhandel und im Haushalt.
Menschliche Bewegungsdaten verkürzen die Trainingsvorbereitung
Die herkömmliche Erfassung von Roboterdaten beruht unter anderem auf der Teleoperation physischer Maschinen. Sie erfordert Spezialhardware, und Menschen müssen eingreifen, um die Lernsituationen wieder in den Ausgangszustand zu versetzen.
Bei λ0 setzt Amap stattdessen auf eine Erfassung direkt durch Menschen, die mit handelsüblichen Geräten ausgestattet sind. Die Bewegungen werden in alltäglichen Umgebungen aufgezeichnet und anschließend für das Robotertraining aufbereitet.
Nach Messungen, die Amap für repräsentative Aufgaben vorgelegt hat, sinkt die Zeit für die Erfassung einer Demonstration von rund 100 Sekunden bei der Aufzeichnung am Roboter auf 29 Sekunden mit der menschenbasierten Methode. Der Hersteller beziffert die Effizienz der Datenerfassung damit auf etwa das 3,4-Fache.
Die Methode soll es erleichtern, die Menge an Trainingsdaten zu steigern, ohne die Teleoperation physischer Roboter im gleichen Maß ausweiten zu müssen.
Dataset HumanVerse-500: 500 Stunden Ganzkörperbewegungen
Für das Training von λ0 hat Amap das Dataset HumanVerse-500 aufgebaut. Es umfasst 500 Stunden Aufzeichnungen menschlicher Ganzkörperbewegungen in offenen Umgebungen.
Das System verknüpft visuelle Informationen, Körperbewegungen und Handbewegungen. Das Lernen gliedert sich anschließend in drei Stufen: Interaktionen mit den Händen, Koordination des gesamten Körpers und Anpassung an die humanoide Morphologie.
Diese Gliederung soll eine Schwäche von Vision-Language-Action-Modellen (VLA) beheben, die überwiegend mit lokalen Interaktionen trainiert werden. Daten, die sich auf Arme und Hände konzentrieren, bilden die gleichzeitigen Bewegungen von Rumpf, Gelenken und übrigem Körper nicht immer ab.
Zudem enthält λ0 Mechanismen, die Perspektiven und Bewegungen von Mensch und Roboter aufeinander abstimmen. Damit werden die Demonstrationen an die unterschiedliche Morphologie und an die Grenzen der Robotersteuerungen angepasst, insbesondere beim physischen Kontakt mit Objekten.
Tests auf realen Robotern: 22,5 % höhere Erfolgsquote
Die von Amap vorgestellten Auswertungen umfassen den Simulations-Benchmark SIMPLE sowie mehrere Tests auf physischen Robotern. Das Unternehmen beansprucht für diese Auswertungen Spitzenwerte.
Amap gibt eine um 22,5 % höhere Erfolgsquote bei Aufgaben auf realen Robotern an, gemessen an der leistungsstärksten Vergleichsmethode, die das Unternehmen für seinen Vergleich herangezogen hat.
Die Forscher berichten außerdem von einer Übertragung ohne zusätzliches aufgabenspezifisches Training, also Zero-Shot, auf reale Roboter bei 7 Aufgaben, die Ganzkörperkoordination und Fortbewegung über längere Strecken kombinieren. Diese Ergebnisse beruhen auf der Nutzung menschlicher Bewegungsdaten.
Die Experimente zeigen demnach auch: Bei gleicher Anzahl von Roboterdemonstrationen verbessert eine größere Menge menschlicher Ganzkörperdaten die Leistung bei Aufgaben auf physischen Robotern.
Code auf GitHub, Beispieldaten auf Hugging Face
Die Zusammenarbeit zwischen Amap und Alibabas Geschäftsbereich ATH umfasst die Erfassung menschlicher Bewegungen, deren Anpassung an humanoide Roboter und die Bewertung der Fähigkeiten auf physischen Maschinen.
Als Einsatzfelder sind vor allem Logistik und Inspektion vorgesehen, wo Roboter Fortbewegung, Haltungswechsel und Manipulation in unterschiedlichen Umgebungen koordinieren müssen.
Amap hat den Code für die Hardwarekonfiguration des Projekts auf GitHub veröffentlicht. Beispiele aus dem Dataset HumanVerse-500 stehen zudem auf Hugging Face bereit, damit Entwickler und Forschungsteams mit dieser Methode zum Lernen menschlicher Bewegungen experimentieren können.