Kann ein humanoider Roboter ein Haus betreten, das er nie zuvor gesehen hat, und sofort mit der Arbeit beginnen, ohne dass vor Ort auch nur ein einziger Datenpunkt erhoben wurde? Diese Frage stellt Figure mit Helix 2.5, das der Hersteller als sein bislang fortschrittlichstes neuronales Netz bezeichnet. Nach eigenen Angaben hat das Unternehmen das Modell in 30 Haushalten in der Bay Area in Kalifornien bei drei Aufgaben getestet, ohne jegliche Anpassung an die jeweilige Umgebung.
Figure bezeichnet den Versuch als zero-shot: Weder die Testumgebungen noch die verwendeten Objekte hatte das Modell während des Trainings gesehen. Die Aufgaben selbst waren hingegen über Daten definiert worden, die an anderer Stelle erhoben wurden. In jedem Haushalt nutzte der Roboter die vorhandenen Sofas, Betten und Oberflächen. Die Objekte waren vor Beginn der Tests zurückgelegt worden. Laut Figure prüften zunächst ein KI-Modell und anschließend Menschen, dass diese Objekte nicht in den Trainingsdaten vorkamen.
Drei Haushaltsaufgaben, ein gemeinsames Basismodell
Getestet wurden drei Verhaltensweisen: ein Wohnzimmer aufräumen, Handtücher falten, ein Bett machen. Figure nennt die Erfolgskriterien, die vor der Evaluierung festgelegt wurden:
- Aufräumen des Wohnzimmers: Alle 13 bis 15 verstreuten Spielzeuge werden aufgehoben und in den Korb gelegt.
- Falten von Handtüchern: Alle Handtücher werden gefaltet und in den Korb gelegt.
- Bettenmachen: Beide Kissen und die Ecken der Bettdecke liegen am Kopfende des Bettes, die Decke ist glattgestrichen.
Der Hersteller gibt an, keine Teilpunkte zu vergeben: Eine Aufgabe gilt nur dann als erfolgreich, wenn sie vollständig erledigt wurde. Für jede Aufgabe kam in allen 30 Haushalten derselbe eingefrorene Checkpoint zum Einsatz, ohne Anpassung der Gewichte an die Umgebungen oder die Testobjekte.
Laut Figure gehen alle drei Verhaltensweisen auf ein einziges Foundation Model zurück, das auf Index vortrainiert wurde, einem groß angelegten Dataset menschlicher Verhaltensweisen. Sie erfordern Fortbewegung, die Handhabung starrer und verformbarer Objekte, beidarmige Koordination sowie aktive Wahrnehmung.
Erfolgsquote steigt laut Figure von 9 % auf 56 %
Um zu messen, was das Vortraining tatsächlich bringt, hat Figure nach eigenen Angaben zwei Policies auf identischen Daten zur Aufgabenspezifikation trainiert, die weder die Testhaushalte noch die Testobjekte enthielten. Die eine startete mit zufälligen Gewichten, die andere mit dem auf Index vortrainierten Modell Helix 2.5. Architektur, Optimierung und Evaluierung blieben gleich.
Das gemeldete Ergebnis: In einer Blindevaluierung bewältigte die von Grund auf trainierte Policy 9 % der Zero-Shot-Versuche, die auf Index vortrainierte dagegen 56 %, also mehr als das Sechsfache. Figure folgert daraus, dass das Vortraining auf Index den Großteil der Zero-Shot-Fähigkeit des Modells erklärt. Zudem gibt der Hersteller an, dass keine Testaufgabe mehr als 1,90 % des Vortrainingsdatensatzes ausmacht.
Außerdem hat Figure Helix 2.5 nach eigenen Angaben mit der Vorgängerversion Helix 02 verglichen, die direkt in der Umgebung trainiert worden war, in der sie auch getestet wurde. Laut Hersteller erreichte Helix 2.5 dieselbe Erfolgsquote mit halb so vielen Anpassungsdaten und generalisierte zugleich auf 30 unbekannte Haushalte.
Selbstkorrektur und Skalierungsgesetz beim Mensch-Roboter-Transfer
Als deutliche Verbesserung hebt Figure die Fähigkeit des Roboters hervor, sich selbst zu korrigieren: zurücktreten, um sich neu zu positionieren, die Haltung wechseln, um ein Bett herumgehen, um das Falten fortzusetzen. Der Hersteller führt diese Fähigkeit zur Fehlerbehebung auf das Vortraining mit Index zurück.
Zudem spricht das Unternehmen von einem Skalierungsgesetz für den Transfer vom Menschen auf den Roboter. Nach eigenen Angaben trainierte es vier Modelle auf Teilmengen von Index, die zusammen eine Verachtfachung der Datenmenge abdeckten, bei gleicher Modellgröße und gleichem nachgelagertem Training. Der Vorhersageverlust sank mit jeder Verdopplung der Daten gleichmäßig, und zwar so stetig, dass sich das Ergebnis des größten Experiments laut Figure schon vor dem Training auf vier Nachkommastellen genau vorhersagen ließ.
Figure betont, nicht zu behaupten, dass die allgemeine humanoide Robotik gelöst sei. Aus Sicht des Herstellers handelt es sich um eine Demonstration der Ganzkörper-Generalisierung im Zero-Shot-Verfahren auf einem humanoiden Roboter, die er als erste in diesem Maßstab bezeichnet.
Weiterführend: Helix, die KI von Figure: Funktionsweise und Tests · Figure AI: humanoide Roboter, Helix-KI und BotQ-Fabrik