Neuheiten

Claude Fable 5.2: Anthropic misst intern 64,9 % auf RoboDojo, GPT-6 Astra kommt nur auf 29,8 %

Von Redaktion Robotique Store

Illustration: generischer humanoider Roboter, im Zusammenhang mit der KI-gestützten Robotersteuerung
Claude Fable 5.2 erreicht laut Anthropic 64,9 % auf RoboDojo Sim und übertrifft damit die 29,8 % von GPT-6 Astra, liegt aber hinter dem Agenten Q0-Preview mit 74,20 %. © Robotique Store

Anthropic gibt für Claude Fable 5.2 einen Wert von 64,9 % auf RoboDojo an, einem Benchmark für simulierte Robotik. Zudem zeigt das Unternehmen Roboter, die mit dem neuen KI-Modell Objekte handhaben und Zeichenaufgaben erledigen.

Mit Claude Fable 5.2 stellt Anthropic die Fähigkeit seines Modells heraus, Roboter anhand visueller Informationen zu steuern. Die Ankündigung erfolgte am selben Tag, an dem NVIDIA auf der Konferenz CoRL in Austin GR00T 2 vorgestellt hat. Beide Unternehmen zählen die Robotersteuerung damit zu den Einsatzfeldern ihrer KI-Systeme.

Drei Manipulationsdemos mit realen Robotern

Die Aufnahmen zeigen drei unterschiedliche Aufgaben:

  • Einen Knobelwürfel lösen, indem seine einzelnen Seiten gedreht werden.
  • Den Verschluss einer Flasche aufschrauben.
  • Eine Darstellung eines Roboters zeichnen.

Anthropic gibt an, Fable 5.2 könne physische Roboter deutlich besser steuern als frühere Claude-Versionen. Das Unternehmen verweist dabei insbesondere auf Roboteraufgaben, für die das Modell nicht explizit trainiert worden sei.

Bei diesen Aufnahmen handelt es sich um physische Demonstrationen, die von den Ergebnissen in der Simulation zu trennen sind. Sie zeigen, welche Handgriffe die vorgestellten Roboter ausführen, belegen aber keine reproduzierbare Erfolgsquote für die einzelnen Aufgaben.

Was der Benchmark RoboDojo misst: Zweiarmroboter mit Kamerasteuerung

Der von Anthropic genannte Wert stammt aus RoboDojo Sim, einer Testumgebung, in der eine KI einen simulierten Zweiarmroboter anhand von Kamerabildern steuert.

RoboDojo wurde im Juli von einem Zusammenschluss aus mehr als 40 Forschenden veröffentlicht, die unter anderem von HKU MMLab, UC Berkeley, Tsinghua, Peking University, Stanford und MIT kommen. Der Benchmark umfasst 42 simulierte Aufgaben auf einem zweiarmigen ARX-X5-Aufbau, der in NVIDIA Isaac Sim nachgebildet ist.

Die Tests decken fünf Kategorien ab: Generalisierung, Präzision, lange Aufgaben, Gedächtnis und offene Aufgaben. Der Roboter erhält Bilder einer Kamera am Kopf und zweier Kameras an den Handgelenken.

Jede Steuerungsstrategie (Policy) wird pro Aufgabe und Zufalls-Seed 50-mal bewertet. Die Rangliste unterscheidet zwischen der Quote vollständig gelöster Aufgaben und einem Durchschnittswert, der auch für teilweise erledigte Aufgaben Punkte vergibt.

Zu RoboDojo gehört zudem ein physischer Teil mit 18 weiteren Aufgaben, die auf drei Typen von Roboterarmen ausgeführt werden.

Claude Fable 5.2 gegen GPT-6 Astra: Anthropic misst höheren Wert

Nach internen Tests von Anthropic erreicht Claude Fable 5.2 auf RoboDojo Sim 64,9 %, GPT-6 Astra von OpenAI dagegen 29,8 %. Ermittelt wurden die Ergebnisse in derselben Testumgebung und mit der höchsten verfügbaren Aufwandsstufe des jeweiligen Modells.

Anthropic gibt außerdem an, Fable 5.2 übertreffe die meisten KI-Systeme, die eigens für die Robotersteuerung entwickelt wurden.

Für einen Vergleich mit der öffentlichen RoboDojo-Rangliste müssen allerdings zwei Kennzahlen auseinandergehalten werden: der Durchschnittswert und die Erfolgsquote bei vollständig gelösten Aufgaben. Anthropic ordnet die genannten 64,9 % keiner der beiden Kennzahlen zu, was einen direkten Vergleich mit den Ergebnissen der Rangliste einschränkt.

Öffentliche RoboDojo-Rangliste: Agenten liegen vorn

In der am 3. November aktualisierten RoboDojo-Rangliste werden Robotik-Policies, die für die Maschinensteuerung trainiert wurden, getrennt von Systemen geführt, die als Agenten eingestuft sind.

Unter den gelisteten Policies führt WALL-OSS-1.0-lite von X Square Robot mit einem Durchschnittswert von 42,59 und einer Erfolgsquote von 34,97 %. Dahinter folgt VPP2 von RobotEra mit 39,26 Punkten und einer Erfolgsquote von 32,26 %.

Die Agenten erzielen höhere Werte. Q0-Preview von Qoo Tech kommt auf 74,20 Punkte und eine Erfolgsquote von 68,87 %. GO-3 Nano Preview von AGIBOT erreicht 61,90 beziehungsweise 56,42 %, PyRUA-Lean von PKU DAGroup 55,26 beziehungsweise 50,35 %.

Ob der Wert von Fable 5.2 als Durchschnittswert oder als Erfolgsquote gelesen wird: In beiden Fällen läge er hinter Q0-Preview und vor den gelisteten Robotik-Policies. Diese Einordnung ist nur ein Anhaltspunkt, da das Ergebnis von Anthropic aus eigenen internen Tests stammt.

Die öffentliche RoboDojo-Rangliste wird von einer gemeinnützigen Organisation verwaltet. Die Initiatoren des Benchmarks geben an, dass kein kommerzielles Unternehmen an ihrer Verwaltung beteiligt ist.

Redaktion Robotique Store

Alle Artikel →

Ein Fehler in diesem Artikel? Melden Sie ihn

Der Newsletter

Neuigkeiten zu humanoiden Robotern direkt ins Postfach

Eine Auswahl an Ankündigungen, Preisen und Vorführungen, ohne Werbung. Abmeldung mit einem Klick. Der Newsletter erscheint derzeit auf Französisch.

Entdecken

Mehr zum Lesen, für Sie ausgewählt.