Neuheiten

XPENG-Modell GroundingPI: Roboter liegen mit halb so vielen Demos vorn, bislang nur in der Simulation

Von Redaktion Robotique Store

GroundingPI, das von XPENG vorgestellte Modell zur visuellen Wahrnehmung, das die Lokalisierung von Objekten und die Robotermanipulation verbessern soll
GroundingPI, das von XPENG vorgestellte Modell zur visuellen Wahrnehmung, soll die Lokalisierung von Objekten und die Robotermanipulation verbessern. © XPENG

XPENG rückt GroundingPI in den Vordergrund, ein Modell zur visuellen Wahrnehmung mit rund 4 Milliarden Parametern. In Simulationstests verbessert die Technologie das Erlernen von Robotermanipulation, insbesondere wenn weniger Trainingsdemonstrationen zur Verfügung stehen.

In einer am 4. November veröffentlichten Mitteilung stellt XPENG Forschungsarbeiten vor, die gemeinsam mit der Universität Peking, der Universität Hongkong und weiteren Hochschulen entstanden sind. GroundingPI soll KI-Systemen ermöglichen, Objekte und deren einzelne Bestandteile präzise zu lokalisieren. Es handelt sich um ein offenes Forschungsprojekt. Eine Integration in den humanoiden Roboter IRON oder eine Markteinführung wurde damit nicht angekündigt.

Wie GroundingPI Objekte und Objektteile für Roboteraktionen lokalisiert

GroundingPI basiert auf einem Ansatz der visuellen Wahrnehmung, der Positionen in einem Bild mithilfe von Punkten und Begrenzungsrahmen darstellt. So kann das System einen bestimmten Teil eines Objekts erkennen, etwa den Henkel einer Tasse, und dessen Position an ein anderes System weitergeben, das die eigentliche Aktion ausführt.

Laut den Forschern nutzt das Modell für mehrere Aufgaben ein gemeinsames Koordinatenvokabular: Objekterkennung, Texterkennung, das Verständnis von Benutzeroberflächen und räumliche Wahrnehmung.

Auf diese Weise entstehen Informationen, die eine Robotersteuerung direkt verwerten kann, statt sich auf eine textliche Beschreibung der Umgebung zu beschränken.

Ergebnisse in 34 Benchmarks zur visuellen Wahrnehmung

Die Forscher haben GroundingPI in 34 Benchmarks aus 11 Fähigkeitskategorien evaluiert. Ihren Ergebnissen zufolge erreicht das Modell einen Gesamtwert von 73,68, GPT-6 Astra kommt auf 71,54.

Mann in schwarzem Poloshirt präsentiert einer Besuchergruppe in einer Industrieumgebung einen humanoiden Roboter mit schwarzem Kopf und weißem Körper
XPENG forscht gemeinsam mit der Universität Peking und der Universität Hongkong. © XPeng

Dieses Ranking beruht auf einer gleichen Gewichtung aller Kategorien und betrifft ausschließlich die Fähigkeiten, die in dieser Reihe von Wahrnehmungstests geprüft wurden. Ein allgemeiner Leistungsvergleich beim logischen Schließen oder bei künstlicher Intelligenz insgesamt ist es nicht.

Zudem stießen die Forscher bei einigen Aufgaben weiterhin auf Schwierigkeiten, etwa bei der Lokalisierung kleiner Objekte und bei der Texterkennung.

Humanoide Manipulation: bessere Lernergebnisse mit weniger Demonstrationen

Für Entwickler humanoider Roboter sind vor allem die Roboterexperimente interessant. Die Forscher kombinierten mehrere vortrainierte Modelle zur visuellen Wahrnehmung mit ein und derselben Architektur zur Aktionssteuerung, um ihren Einfluss auf das Lernen zu vergleichen.

Für jedes Vergleichsmodell blieben die Trainingsdaten für die Aktionen, das Optimierungsbudget und die übrigen Parameter der Steuerungs-Policy unverändert.

Getestet wurde in zwei Simulationsumgebungen:

  • RoboTwin 2.0: Manipulationsaufgaben mit zwei Roboterarmen auf einer festen Basis.
  • RoboCasa-GR1: humanoide Manipulationsaufgaben mit Händen, die präzise Bewegungen ausführen können.

In RoboCasa-GR1 behält GroundingPI laut den Forschern seinen Vorsprung auch mit nur der Hälfte der verfügbaren Demonstrationen, während die Vergleichsmodelle drei Viertel dieser Demonstrationen verwenden.

Darüber hinaus meldet das Projekt Verbesserungen in vier RoboTwin-Tests, die unter anderen Bedingungen als im Training stattfanden.

Die Ergebnisse deuten darauf hin, dass eine präzisere visuelle Wahrnehmung das Erlernen von Roboterbewegungen in der Simulation effizienter machen kann.

Forschungstechnologie ohne Bezug zum humanoiden Roboter IRON

Eine wichtige Besonderheit von GroundingPI: Das Training der visuellen Wahrnehmung kommt ohne Daten aus, die Roboteraktionen beschreiben. Die Steuerungssysteme, die diese Wahrnehmung nutzen, lernen dagegen weiterhin aus Roboterdemonstrationen.

Weißer humanoider Roboter geht an einer Fertigungslinie mit orangefarbenen Industrierobotern hinter Glaseinhausungen entlang
GroundingPI bleibt ein offenes Forschungsprojekt, eine Integration in den humanoiden Roboter IRON ist nicht angekündigt. © XPeng

Die Experimente zeigen also keinen Roboter, der eine neue physische Aufgabe ohne Aktionsdaten erlernen kann. Bewegungsführung, Objektkontakt und Korrekturen während der Ausführung übernimmt weiterhin das angebundene Steuerungssystem.

Die Ergebnisse beziehen sich auf simulierte Umgebungen und nicht auf eine Manipulationsdemonstration mit einem physischen humanoiden Roboter. Mit der Mitteilung von XPENG ist weder eine Vermarktung von GroundingPI noch ein Einsatz in IRON verbunden.

Forschungsprojekt war bereits vor der XPENG-Mitteilung öffentlich

Die wissenschaftliche Arbeit zu GroundingPI wurde am 30. September veröffentlicht. Anfang Oktober folgten im Rahmen des offenen Forschungsprojekts die Modellgewichte und der Code.

Die Mitteilung vom 4. November rückt damit eine bereits öffentlich zugängliche Technologie ins Licht, deren experimentelle Ergebnisse vor allem die visuelle Wahrnehmung und das Erlernen von Robotermanipulation in der Simulation betreffen.

Redaktion Robotique Store

Alle Artikel →

Ein Fehler in diesem Artikel? Melden Sie ihn

Der Newsletter

Neuigkeiten zu humanoiden Robotern direkt ins Postfach

Eine Auswahl an Ankündigungen, Preisen und Vorführungen, ohne Werbung. Abmeldung mit einem Klick. Der Newsletter erscheint derzeit auf Französisch.

Entdecken

Mehr zum Lesen, für Sie ausgewählt.