NVIDIA hat Flora vorgestellt, eine Suite aus drei KI-Modellen, die Videos von Robotern und menschlichen Bewegungsabläufen in Trainingsdaten umwandeln sollen. Flora ist bereits in die GR00T-Pipeline integriert und automatisiert das Erkennen, Beschreiben und Bewerten von Aktionen.
Das Forschungsteam GEAR von NVIDIA hat Flora am 20. Oktober vorgestellt. Das System setzt bei einem wichtigen Schritt der Roboterentwicklung an: der Aufbereitung der Videos, mit denen die KI-Modelle der Roboter trainiert werden. Eine aufgezeichnete Demonstration muss in einzelne Aktionen zerlegt, mit einer Beschreibung versehen und daraufhin geprüft werden, ob die Bewegung korrekt ausgeführt wurde. Flora automatisiert diese Arbeitsschritte, um die Nutzung großer Videosammlungen zu erleichtern.
Drei Modelle zum Erkennen, Beschreiben und Bewerten von Bewegungen
Flora besteht aus drei spezialisierten Modellen, die jeweils einen Schritt der Videoverarbeitung übernehmen:
- Flora-TempSeg zerlegt Aufnahmen in Sequenzen, die jeweils einer einzelnen Aktion entsprechen, und bestimmt deren Zeitintervalle.
- Flora-Captioner erzeugt für jede Sequenz eine natürlichsprachliche Beschreibung der beabsichtigten Aktion und berücksichtigt dabei die umgebenden Bilder.
- Flora-Rewarder bewertet die Qualität der Ausführung und vergibt Punktwerte für einen vollständigen Versuch oder für einzelne Teilschritte.
Laut dem Forscher Yunze Man funktioniert diese Verarbeitungskette mit Videos, die menschliche Hände, Robotergreifer und geschickte Roboterhände zeigen. Die mit Zeitstempeln versehenen Beschreibungen ermöglichen es unter anderem, Datasets für das Training zu filtern und auszubalancieren.
Flora trennt beabsichtigte Aktion und tatsächlichen Erfolg
Eine wichtige Funktion von Flora besteht darin, die Absicht einer Bewegung von ihrem tatsächlichen Ergebnis zu trennen. Versucht ein Roboter, ein Objekt zu greifen, und scheitert dabei, kann Flora-Captioner die beabsichtigte Aktion beschreiben, während Flora-Rewarder deren Ausführung separat bewertet.
Diese Unterscheidung verhindert, dass ein Fehlschlag bei der Aufbereitung der Trainingsdaten als gelungene Demonstration gewertet wird.
Laut der Modellkarte von Flora-Rewarder nutzen die Gesamtbewertungen eine Skala von 1 bis 5, um den Erfolg eines Versuchs zu messen. Das System kann zudem zwischen normalen Aktionen, suboptimalen Ausführungen und Fehlschlägen unterscheiden. Außerdem unterstützt es eine Bewertung anhand einer Abfolge aufgabenspezifischer Kriterien.
Diese Annotationen können dazu dienen, die Leistung von Robotern zu messen und zusätzliche Trainingsphasen mit Reinforcement Learning vorzubereiten.
NVIDIA: 200.000 Stunden Video pro Tag verarbeitet
Nach Angaben von NVIDIA hat Flora bereits 200.000 Stunden Video pro Tag mit 512 GB300-GPUs verarbeitet. Die Zahl bezieht sich auf die Menge an Videomaterial, die in dieser Hardwarekonfiguration täglich annotiert wird, nicht auf neue Stunden an Robotererfahrung oder Training.
Enact Intelligence sammelt 30 Millionen Dollar ein: Roboter sollen Kräfte über ihre Motoren spüren
Die angegebene Kapazität setzt eine umfangreiche Recheninfrastruktur voraus. Sie verdeutlicht das Ziel von NVIDIA: die Annotation großer Videomengen zu automatisieren, um Systeme für das Roboterlernen mit Daten zu versorgen.
Flora unterstützt bereits die GR00T-Trainingspipeline von NVIDIA. Die erzeugten Daten können unter anderem die Auswahl von Demonstrationen und die Bewertung von Verhaltensweisen bei der Entwicklung von Robotermodellen erleichtern.
Flora im Vergleich mit GPT-6 Astra bei der Annotation von Robotervideos
NVIDIA gibt an, Flora erreiche bei der Annotation eine mit GPT-6 Astra konkurrenzfähige Qualität, und das bei rund 125-mal geringeren Kosten für die von seinem Team untersuchten Annotationsaufgaben im Robotikbereich.
Die vorgestellten Ergebnisse fallen je nach Metrik allerdings unterschiedlich aus. Flora schneidet beim Joint-F1-Score für die Beschreibung von Videos mit Menschen sowie beim Macro-F1 für die dichte Reward-Bewertung besser ab. GPT-6 Astra liegt dagegen beim Joint-F1-Score für die Beschreibung von Robotervideos vorn.
Die Vergleiche beziehen sich auf spezialisierte Aufgaben der Videoannotation und -bewertung, nicht auf die allgemeinen Fähigkeiten der KI-Modelle.
Flora-Modelle auf Hugging Face verfügbar
NVIDIA hat auf Hugging Face eine Flora-Sammlung mit allen drei Komponenten veröffentlicht: TempSeg, Captioner und Rewarder. Laut den Modellkarten handelt es sich bei Captioner und Rewarder um Ableitungen von Qwen3.5-27B.
Entwickler erhalten damit Zugriff auf die spezialisierten Komponenten von Flora, um an der Segmentierung von Bewegungen, der Erzeugung von Beschreibungen und der Bewertung robotischer Ausführungen zu arbeiten. Zum Projekt gehören zudem ein Forschungspapier, Benchmark-Ergebnisse und Anwendungsbeispiele.