Anthropic gibt für Claude Fable 5.2 einen Wert von 64,9 % auf RoboDojo an, einem Benchmark für simulierte Robotik. Zudem zeigt das Unternehmen Roboter, die mit dem neuen KI-Modell Objekte handhaben und Zeichenaufgaben erledigen.
Mit Claude Fable 5.2 stellt Anthropic die Fähigkeit seines Modells heraus, Roboter anhand visueller Informationen zu steuern. Die Ankündigung erfolgte am selben Tag, an dem NVIDIA auf der Konferenz CoRL in Austin GR00T 2 vorgestellt hat. Beide Unternehmen zählen die Robotersteuerung damit zu den Einsatzfeldern ihrer KI-Systeme.
Drei Manipulationsdemos mit realen Robotern
Die Aufnahmen zeigen drei unterschiedliche Aufgaben:
- Einen Knobelwürfel lösen, indem seine einzelnen Seiten gedreht werden.
- Den Verschluss einer Flasche aufschrauben.
- Eine Darstellung eines Roboters zeichnen.
Anthropic gibt an, Fable 5.2 könne physische Roboter deutlich besser steuern als frühere Claude-Versionen. Das Unternehmen verweist dabei insbesondere auf Roboteraufgaben, für die das Modell nicht explizit trainiert worden sei.
Bei diesen Aufnahmen handelt es sich um physische Demonstrationen, die von den Ergebnissen in der Simulation zu trennen sind. Sie zeigen, welche Handgriffe die vorgestellten Roboter ausführen, belegen aber keine reproduzierbare Erfolgsquote für die einzelnen Aufgaben.
Was der Benchmark RoboDojo misst: Zweiarmroboter mit Kamerasteuerung
Der von Anthropic genannte Wert stammt aus RoboDojo Sim, einer Testumgebung, in der eine KI einen simulierten Zweiarmroboter anhand von Kamerabildern steuert.
RoboDojo wurde im Juli von einem Zusammenschluss aus mehr als 40 Forschenden veröffentlicht, die unter anderem von HKU MMLab, UC Berkeley, Tsinghua, Peking University, Stanford und MIT kommen. Der Benchmark umfasst 42 simulierte Aufgaben auf einem zweiarmigen ARX-X5-Aufbau, der in NVIDIA Isaac Sim nachgebildet ist.
Die Tests decken fünf Kategorien ab: Generalisierung, Präzision, lange Aufgaben, Gedächtnis und offene Aufgaben. Der Roboter erhält Bilder einer Kamera am Kopf und zweier Kameras an den Handgelenken.
Jede Steuerungsstrategie (Policy) wird pro Aufgabe und Zufalls-Seed 50-mal bewertet. Die Rangliste unterscheidet zwischen der Quote vollständig gelöster Aufgaben und einem Durchschnittswert, der auch für teilweise erledigte Aufgaben Punkte vergibt.
Zu RoboDojo gehört zudem ein physischer Teil mit 18 weiteren Aufgaben, die auf drei Typen von Roboterarmen ausgeführt werden.
Claude Fable 5.2 gegen GPT-6 Astra: Anthropic misst höheren Wert
Nach internen Tests von Anthropic erreicht Claude Fable 5.2 auf RoboDojo Sim 64,9 %, GPT-6 Astra von OpenAI dagegen 29,8 %. Ermittelt wurden die Ergebnisse in derselben Testumgebung und mit der höchsten verfügbaren Aufwandsstufe des jeweiligen Modells.
Anthropic gibt außerdem an, Fable 5.2 übertreffe die meisten KI-Systeme, die eigens für die Robotersteuerung entwickelt wurden.
Für einen Vergleich mit der öffentlichen RoboDojo-Rangliste müssen allerdings zwei Kennzahlen auseinandergehalten werden: der Durchschnittswert und die Erfolgsquote bei vollständig gelösten Aufgaben. Anthropic ordnet die genannten 64,9 % keiner der beiden Kennzahlen zu, was einen direkten Vergleich mit den Ergebnissen der Rangliste einschränkt.
Öffentliche RoboDojo-Rangliste: Agenten liegen vorn
In der am 3. November aktualisierten RoboDojo-Rangliste werden Robotik-Policies, die für die Maschinensteuerung trainiert wurden, getrennt von Systemen geführt, die als Agenten eingestuft sind.
Unter den gelisteten Policies führt WALL-OSS-1.0-lite von X Square Robot mit einem Durchschnittswert von 42,59 und einer Erfolgsquote von 34,97 %. Dahinter folgt VPP2 von RobotEra mit 39,26 Punkten und einer Erfolgsquote von 32,26 %.
Die Agenten erzielen höhere Werte. Q0-Preview von Qoo Tech kommt auf 74,20 Punkte und eine Erfolgsquote von 68,87 %. GO-3 Nano Preview von AGIBOT erreicht 61,90 beziehungsweise 56,42 %, PyRUA-Lean von PKU DAGroup 55,26 beziehungsweise 50,35 %.
Ob der Wert von Fable 5.2 als Durchschnittswert oder als Erfolgsquote gelesen wird: In beiden Fällen läge er hinter Q0-Preview und vor den gelisteten Robotik-Policies. Diese Einordnung ist nur ein Anhaltspunkt, da das Ergebnis von Anthropic aus eigenen internen Tests stammt.
Die öffentliche RoboDojo-Rangliste wird von einer gemeinnützigen Organisation verwaltet. Die Initiatoren des Benchmarks geben an, dass kein kommerzielles Unternehmen an ihrer Verwaltung beteiligt ist.






