Letzte Aktualisierung: April 23, 2026

Datenerfassung für verkörperte KI: Teleoperation, Simulation-zu-Real- und Industriedatensätze im Jahr 2026

Daten sind der Flaschenhals für verkörperte KI, nicht Rechenleistung. Das Trainieren einer Roboterstrategie erfordert synchronisierte Aktions-Zustands-Datenströme, die im Internetmaßstab schlichtweg nicht existieren. Derzeit decken drei Quellen diesen Bedarf. Menschliche Teleoperation ermöglicht hochwertige Demonstrationen, kostet aber Zeit des Bedieners. Die Übertragung von Simulationen in die Realität erhöht die Anzahl der Episoden, führt jedoch zu einem Genauigkeitsverlust. Große, offene Datensätze bündeln Beiträge von Dutzenden von Laboren und Plattformen.

Warum Daten der Flaschenhals der verkörperten KI sind

Die Rechenleistung hat eine vorhersehbare Skalierungskurve durchlaufen. GPU-Cluster, die in der Lage sind, VLA-Modelle (Vision-Language-Action) mit Milliarden von Parametern zu trainieren, sind heute kommerziell erhältlich. Was nicht skaliert hat, sind die Daten, die diese Modelle benötigen: gepaarte Beobachtungen und Aktionen, die während der physischen Manipulation von Robotern aufgezeichnet werden, mit genügend Aufgaben- und Verkörperungsdiversität, um generalisierbare Strategien zu generieren.

Ein Sprachmodell kann innerhalb weniger Wochen eine Billion Tokens aus dem Web verarbeiten. Ein Datensatz zur Robotermanipulation muss Episode für Episode generiert werden, wobei jede Episode einen physischen Roboter, eine reale oder simulierte Umgebung, eine Aufgabenbeschreibung und entweder einen menschlichen Bediener oder eine skriptbasierte Demonstration erfordert. Die International Federation of Robotics (IFR) schätzt, dass im Jahr 2024 weltweit über 3.9 Millionen Industrieroboter im Einsatz waren, doch die größten öffentlich zugänglichen Datensätze zur Manipulation umfassen lediglich etwa eine Million Episoden. Diese Lücke schließt sich nicht schnell.

Die Herausforderung verschärft sich durch die unterschiedlichen Realisierungsmöglichkeiten: Eine auf einem 6-DoF-Einarmmanipulator trainierte Strategie lässt sich nicht ohne Weiteres auf einen zweihändigen Humanoiden oder eine mobile Basis mit Arm übertragen. Jede neue Roboterform erfordert im Grunde neue Datenanforderungen. Ansätze zur Aktionssegmentierung (bei denen eine Strategie mehrstufige Aktionssequenzen anstelle einzelner Schritte ausgibt) reduzieren zwar die Latenz der Inferenz, verringern aber nicht den Bedarf an vielfältiger Trainingsabdeckung.

Laut der Studie „Open X-Embodiment“ (Padalkar et al., 2023, Google DeepMind et al.) kann das Training verschiedener Robotermodelle auf Basis diverser Daten die Generalisierung von Richtlinien über die Möglichkeiten von Datensätzen mit nur einem Robotermodell hinaus verbessern. EVST trägt diesem Umstand Rechnung, indem die Qualität von Datensätzen verschiedener Robotermodelle im Rahmen des internen Bewertungsprozesses bei der Auswahl KI-gestützter Bewegungsplanung für die gesamte Produktpalette von 3–800 kg evaluiert wird. Weitere Informationen zur Hardware dieser Datenstrategie finden Sie hier. EVST Embodied AI Solutionseinschließlich humanoider Roboter, geschickter Datenerfassungshände, vierbeiniger Roboter und Pilotplattformen für die Entwicklung verkörperter KI.

Die drei wichtigsten Datenquellen: Stärken und Grenzen

Teleoperation

Die Teleoperation ermöglicht die Erfassung von Demonstrationen in Expertenqualität auf der Zielroboterhardware. Der Bediener steuert den Roboter ferngesteuert über Führungs- und Folgearme, VR-Brillen, Exoskelette oder Handschnittstellen, während das System synchron jeden Gelenkwinkel, Greiferzustand, jede Kraftmessung und jedes Kamerabild aufzeichnet. Da die Daten von einem Menschen stammen, der die Aufgabe tatsächlich am realen Roboter ausführt, ist die Übereinstimmung von Aktion und Zustand exakt und die Abweichung von der realen Funktionsweise minimal.

Die Begrenzung liegt im Durchsatz. Erfahrene Teleoperatoren produzieren je nach Aufgabenkomplexität etwa 5–50 Episoden pro Stunde, und die Datenqualität verschlechtert sich mit zunehmender Ermüdung der Bediener. Teleoperation ist zudem ohne gezielte Protokollentwicklung nicht für die Fehlerbehebung geeignet: Wenn die Bediener stets erfolgreich sind, lernt die Strategie nicht, Störungen zu beheben.

Sim-to-Real-Übertragung

Physiksimulatoren (MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet) ermöglichen es Forschern, Millionen von Robotersimulationen nahezu ohne zusätzliche Kosten zu generieren. Ein einzelner GPU-Cluster kann Tausende paralleler Simulationsinstanzen über Nacht ausführen. Die Kosten zeigen sich jedoch bei der praktischen Anwendung: In Simulationen trainierte Strategien versagen häufig, wenn sie mit realen Kontaktdynamiken, Sensorauschen und visuellen Variationen konfrontiert werden, die der Simulator nicht präzise abbildete. Die Schließung dieser Lücke zwischen Simulation und Realität ist ein aktives Forschungsgebiet.

Internetvideo und passive Beobachtung

Große, mit Internetvideos vortrainierte Bild-Sprach-Modelle ermöglichen ein allgemeines Szenenverständnis, das die Aufgabenorientierung unterstützt. Die pi0-Architektur von Physical Intelligence und ähnliche VLA-Designs nutzen Video-Vortraining, um Manipulationsfähigkeiten zu entwickeln, bevor diese anhand von Roboterdemonstrationen feinabgestimmt werden. Die Einschränkung besteht darin, dass Videos keine Aktionsbezeichnungen liefern: Ein Video zeigt zwar eine Hand, die ein Objekt greift, erfasst aber weder die angewendete Kraft noch die Gelenkwinkel eines entsprechenden Roboterarms. Inverse Dynamikmodelle können Aktionen zwar teilweise aus Videos ableiten, die resultierenden Pseudo-Bezeichnungen sind jedoch verrauscht.

Hardware und Protokolle für die Teleoperation

Die Wahl der Teleoperationsschnittstelle beeinflusst sowohl die Datenqualität als auch den Datendurchsatz. Nachfolgend sind die Systeme aufgeführt, die in den Forschungs- und kommerziellen Programmen 2025–2026 am häufigsten eingesetzt werden.

Leader-Follower Arms: ALOHA und Mobile ALOHA

ALOHA (ein kostengünstiges Open-Source-Hardwaresystem für die bimanuelle Teleoperation) wurde an der Stanford University entwickelt und verwendet zwei preiswerte Führungsarme, die vom Bediener manuell bewegt werden, während zwei passende Folgearme am Roboter die Bewegung in Echtzeit nachbilden. Das bimanuelle Design ermöglicht die Ausführung von Zweihandaufgaben, die mit einarmigen Systemen nicht möglich sind. Mobiles ALOHA erweitert die Plattform auf eine mobile Basis. ALOHA 2, das 2024 veröffentlicht wurde, verbesserte die Genauigkeit der Gelenkverfolgung und die Bedienerergonomie. Die Hardwarekosten für das Führungs-Folgearm-Paar liegen unter 20,000 US-Dollar, was die Verbreitung in zahlreichen akademischen Laboren vorangetrieben hat.

Am Handgelenk getragene Schnittstellen: UMI

Die Universal Manipulation Interface (UMI) von Stanford und Columbia kombiniert eine Fischaugenkamera und einen Encoder mit einem Handgreifer. Der Bediener demonstriert die Aufgabe in der jeweiligen Umgebung, während der Greifer die Position des Endeffektors und den Greifzustand aufzeichnet. UMI entkoppelt die Datenerfassung vom Roboter: Demonstrationen können im Feld aufgezeichnet und später auf andere Robotervarianten übertragen werden. Dadurch eignet sich UMI besonders gut für die Erfassung von Manipulationsdaten außerhalb von Laborumgebungen.

VR- und Head-Mounted-Displays

Apple Vision Pro und Meta Quest 3 werden beide als Teleoperationsschnittstellen untersucht. Ihr Reiz liegt in der beidhändigen 6-DoF-Handverfolgung mit intuitiver Bedienersteuerung. Die technische Herausforderung besteht im Retargeting: Die Kinematik der menschlichen Hand (fünf Finger, 27 Gelenke) muss auf die Befehle des Roboter-Endeffektors (typischerweise 1-DoF-Greifer oder 12–16-DoF-Hände) abgebildet werden. Ohne sorgfältiges Retargeting enthalten die aufgezeichneten Demonstrationen zwar die Absicht des Bedieners, aber keine direkt ausführbaren Roboteraktionen.

Exoskelett und Ganzkörpererfassung

Für humanoide Roboter, die Ganzkörperbewegungsdaten benötigen (einschließlich Fortbewegung in Kombination mit Manipulation), erfassen Exoskelette die Kinematik des gesamten Körpers mit Abtastraten über 100 Hz. AgiBot nutzt einen Exoskelett-basierten Ansatz zur Erfassung von Manipulationsdaten humanoider Roboter für seinen AgiBot World-Datensatz. Auch die Teleoperation von Fourier GR-1 basiert auf einer tragbaren Erfassungsvorrichtung, die auf die Gelenkkonfiguration des Roboters abgestimmt ist.

Figuren und große kommerzielle Flotten

Figure AI betreibt eine eigene Teleoperationsflotte in seinen BMW-Produktionsanlagen. Das Daten-Flywheel-Modell, bei dem jeder eingesetzte Roboter neue Episoden sammelt, die in das Training zurückfließen, ist auch zentraler Bestandteil der Entwicklungsstrategie von Tesla Optimus. Diese geschlossenen Systeme generieren industrielle Daten in einem Tempo, das mit offenen akademischen Datensätzen nicht zu erreichen ist.

Vergleich von Teleoperationsplattformen

Hinweis: Die Durchsatzangaben sind ungefähre Werte, die aus veröffentlichten Forschungsergebnissen und Angaben von Forschern stammen. Die individuellen Fähigkeiten der Bediener und die Komplexität der Aufgabe beeinflussen die Ergebnisse maßgeblich.

Öffentliche Datensätze: Open X-Embodiment, DROID, BridgeData, RoboSet, RH20T, AgiBot World

Das Ökosystem offener Datensätze hat sich seit 2022 rasant entwickelt. Nachfolgend ein Überblick über die meistzitierten Sammlungen (Stand: Anfang 2026).

Open X-Embodiment (OXE) und RT-X

OXE, ein Projekt von Google DeepMind in Zusammenarbeit mit 33 beteiligten Institutionen, umfasst über eine Million Episoden mit mehr als 22 Robotertypen. Die zugehörigen RT-X-Modelle zeigten, dass das Training mit gepoolten, plattformübergreifenden Daten die Leistung von Modellen mit nur einem Robotertyp in Generalisierungstests übertrifft. OXE wird je nach beteiligter Institution unter verschiedenen Lizenzen (CC-BY und Apache 2.0) veröffentlicht. Der Zugriff erfolgt über die RT-X-Website und HuggingFace.

DROID

DROID (Distributed Robot Interaction Dataset) wurde in 13 nordamerikanischen Forschungslaboren mit einem standardisierten Franka-Panda-System und einer ALOHA-ähnlichen Teleoperationsschnittstelle erhoben. Es umfasst ca. 76,000 Episoden verschiedener Manipulationsaufgaben im Haushalt und auf Tischen. Dank der standardisierten Hardware an allen Standorten zählt DROID zu den saubersten und umfangreichsten Manipulationsdatensätzen für Verhaltensklonierung und RLHF-Experimente.

BridgeData V2

BridgeData V2, entwickelt von der UC Berkeley und Stanford, umfasst ca. 60,000 Demonstrationen zu einer Vielzahl von Manipulationsaufgaben am Tisch. Es nutzt einen WidowX-Arm und zeichnet sich durch seine Aufgabenvielfalt (über 70 verschiedene Aufgabenkategorien) aus, wodurch es sich als gängige Basis für die Feinabstimmung von VLA-Modellen eignet. Veröffentlicht unter CC-BY 4.0.

RoboSet

RoboSet, ein Projekt des IIT Delhi und seiner Kooperationspartner, stellt Daten zur gleichzeitigen Manipulation von Küchenutensilien bereit, die mit einem Franka Panda erfasst wurden. Es umfasst RGB-D-Beobachtungen und Sprachannotationen für jede Episode. RoboSet wurde speziell für die Unterstützung sprachabhängiger Strategiebewertung entwickelt und eignet sich daher zum Testen der Generalisierung von Anweisungen.

RH20T

RH20T (Robot-Human 20 Tasks) ist ein umfangreicher Datensatz zur kontaktreichen Manipulation, der synchronisierte Roboterpropriozeption, RGB-Video, Tiefen-, Tast- und Audiodaten enthält. Dank seiner multimodalen Vielfalt dient RH20T als Referenz für Forschende, die an Richtlinien arbeiten, welche neben visueller Beobachtung auch Kontaktsensorik erfordern.

AgiBot-Welt

AgiBot World ist ein von AgiBot, einem chinesischen Robotikunternehmen, erstellter Datensatz zur Manipulation humanoider Systeme. Er basiert auf der Datenerfassungspipeline des Unternehmens mithilfe eines Exoskeletts. Der Fokus liegt auf Ganzkörpermanipulationsaufgaben mit humanoiden Systemen. AgiBot World ist einer der ersten umfangreichen Datensätze, der sich speziell mit humanoiden Formfaktoren im industriellen Maßstab befasst. Er ist unter einer offenen Forschungslizenz für nichtkommerzielle Zwecke verfügbar.

Referenz für öffentliche Datensätze zu verkörperter KI

Episodenanzahl und Lizenzbedingungen stammen aus Datensatzveröffentlichungen und offiziellen Repositorien (Stand: Anfang 2026). Bitte überprüfen Sie die aktuellen Bedingungen vor der Verwendung.

Sim-to-Real Stack: Isaac Sim, MuJoCo, Cosmos und Domänenrandomisierung

Simulationen skalieren die Datengenerierung. Die praktische Frage ist, welcher Simulator verwendet werden soll und wie die Lücke zur physischen Hardware geschlossen werden kann.

MuJoCo

MuJoCo (Multi-Joint dynamics with Contact) gilt weiterhin als Standard für die Forschung im Bereich kontaktintensiver Manipulation. Seine Physik-Engine verarbeitet Starrkörperdynamik, weiche Kontakte und seilzugbetätigte Systeme mit einer Recheneffizienz, die Tausende paralleler Trainingsdurchläufe auf einem einzelnen GPU-Cluster ermöglicht. Die Open-Source-Veröffentlichung durch Google DeepMind im Jahr 2022 beschleunigte die Verbreitung erheblich. Die meisten akademischen Benchmarks für Verhaltensklonierung und RLHF nutzen MuJoCo-Umgebungen.

NVIDIA Isaac Simulation und Isaac Lab

Isaac Sim läuft auf NVIDIAs Omniverse-Plattform und bietet GPU-beschleunigte Physiksimulation mit hochauflösender Darstellung. Isaac Lab (ehemals OmniIsaacGymEnvs) ist das auf Isaac Sim basierende Reinforcement-Learning-Framework, optimiert für massiv paralleles Policy-Training. Ein entscheidender Vorteil ist die fotorealistische Darstellung: Die Path-Tracing-Visualisierungen von Isaac Sim verringern die Diskrepanz zwischen visueller Domäne und Modell im Vergleich zu den vereinfachten Renderern von MuJoCo, was für das Training von bildbasierten Strategien von Bedeutung ist.

NVIDIA Cosmos

Cosmos ist NVIDIAs weltweit führende Modellplattform, die Ende 2024 angekündigt wurde. Anstatt Physik von Grund auf zu simulieren, generiert Cosmos fotorealistische Videos von Roboter- und Objektinteraktionen anhand von Text- oder Bildvorlagen. Die Plattform wird mit großen Videodatensätzen trainiert. Ziel ist es, synthetische Trainingsdaten zu erzeugen, die so realistisch wirken, dass die visuelle Diskrepanz zwischen Simulation und Realität ohne manuelle Domänenrandomisierung geschlossen wird. Seit Anfang 2026 wird Cosmos von mehreren Laboren für robotisches Lernen als Datenerweiterungsschicht für reale Demonstrationen untersucht.

Gaußsches Splatting und Szenenrekonstruktion

3D Gaussian Splatting rekonstruiert fotorealistische Szenen aus wenigen RGB-Bildern in Minuten statt Stunden. Für das Robotertraining bedeutet dies, dass ein Labor eine neue Arbeitsumgebung scannen, eine Gaußsche Szene rekonstruieren und neue Blickwinkel oder Objektkonfigurationen zur Datenerweiterung generieren kann – ganz ohne Physiksimulator. Dieser Ansatz wird als kostengünstiges Werkzeug zur visuellen Domänenrandomisierung in verschiedene Simulations-zu-Realität-Pipelines integriert.

Domänenrandomisierung und Systemidentifikation

Die Domänenrandomisierung randomisiert Simulationsparameter (Objekttexturen, Lichtverhältnisse, Reibungskoeffizienten, Gelenksteifigkeit des Roboters) während des Trainings und zwingt die Strategie so, robust gegenüber Variationen zu sein, anstatt an eine einzelne simulierte Konfiguration angepasst zu werden. Die Systemidentifikation verfolgt den komplementären Ansatz: Sie misst die physikalischen Parameter des realen Roboters (Masse, Trägheit, Gelenknachgiebigkeit) präzise und verwendet diese Werte in der Simulation, um die Abweichung vor der Randomisierung zu minimieren.

Curriculum Learning wendet Randomisierung schrittweise an. Eine Strategie wird zunächst in einer begrenzten, sauberen Simulation trainiert und dann, mit zunehmender Leistungsverbesserung, schrittweise mit mehr Variation konfrontiert. Dieser stufenweise Ansatz führt oft zu einer schnelleren Konvergenz als die vollständige Randomisierung von Beginn an.

Abwägungen zwischen Datenqualität und Datenmenge

Mehr Daten sind nicht automatisch besser. Die Zusammensetzung eines Datensatzes bestimmt, was eine trainierte Strategie leisten kann und was nicht.

Bei der Entwicklung einer generalistischen Strategie ist die Aufgabenvielfalt wichtiger als die Anzahl der Episoden. Ein Datensatz mit 100,000 Episoden derselben Pick-and-Place-Aufgabe führt zu einer spezialisierten Strategie. Ein Datensatz mit 10,000 Episoden, verteilt auf 50 Aufgabentypen, kann hingegen eine Strategie hervorbringen, die sich nach wenigen Feinabstimmungen auf neue Aufgaben übertragen lässt.

Die Vielfalt der Verkörperungen ist für den Transfer zwischen Robotern entscheidend. Der Wert von OXE liegt genau darin, dass es verschiedene Armtypen, mobile Plattformen und feinmotorische Hände unterstützt. Eine auf OXE vortrainierte und auf einen neuen Roboter feinabgestimmte Strategie ist in der Regel einer Strategie überlegen, die ausschließlich mit den Daten desselben neuen Roboters trainiert wurde – ein Ergebnis, das in mehreren veröffentlichten Studien bestätigt wurde.

Episodenlänge und Fehlerbehebung werden unterschätzt. Datensätze, die von erfahrenen Teleoperatoren mit seltenen Fehlern erfasst werden, führen zu Strategien, die keine Reaktion auf Störungen ermöglichen. Das gezielte Einbringen von Fehlerzuständen und die Demonstration der Wiederherstellung verbessern die Resilienz in der Praxis erheblich. Einige Labore nutzen während Teleoperationssitzungen gezielte Störungen, um diese Daten zu generieren.

Branchenbeobachtungen aus mehreren Berichten von Robotik-Lernlaboren aus den Jahren 2024–2025 zufolge sinkt der Nutzen zusätzlicher Episoden rapide, sobald ein Datensatz eine Aufgabe mit etwa 500–1,000 Demonstrationen abdeckt. Der Nutzen neuer Aufgabentypen bleibt hingegen bis zu Tausenden unterschiedlicher Aufgaben hoch. EVST berücksichtigt dies bei der Strukturierung von Pilot-Datenerfassungszellen und priorisiert die Aufgabenbreite gegenüber der Anhäufung sich wiederholender Episoden.

Überlegungen zu Daten im industriellen Maßstab

Die Datenerfassung in Fabriken stellt Anforderungen, die akademische Teleoperationssysteme typischerweise nicht erfüllen.

Deterministische Protokollierung ist die erste Voraussetzung. In einer Fertigungszelle muss der Zeitstempel eines Gelenk-Encoder-Messwerts mit einer Genauigkeit im Submillisekundenbereich auf eine Referenzuhr rückführbar sein. Die EtherCAT-Feldbussteuerung mit 1 kHz, Standard bei Industrierobotern (einschließlich derer im EVST-Sortiment), bildet die deterministische Grundlage für die Multisensor-Synchronisierung. Ein System mit 1 kHz generiert 1,000 Gelenkzustandsabtastungen pro Sekunde und Achse. Die Synchronisierung dieses Datenstroms mit Kamerabildern (30–60 fps) und Kraft-Drehmoment-Daten (500 Hz) erfordert eine präzise Hardware-Architektur zur Zeitstempelung, keine Software-Pufferung.

Sicherheitskennzeichnungen sind erforderlich, wenn Ereignisse Beinaheunfälle, Not-Aus-Auslösungen oder Überschreitungen von Kraftgrenzwerten umfassen. Diese Kennzeichnungen sind sowohl für die Einhaltung von Vorschriften als auch für Schulungsrichtlinien, die sicherheitsrelevante Zustände berücksichtigen, notwendig. Industrielle Steuerungen, die Not-Aus-Ursachen und Drehmomentüberschreitungen auf Hardwareebene protokollieren, ermöglichen diese Kennzeichnung.

Die Zykluszeitannotation verknüpft Roboter-Episoden mit Fertigungsergebnissen. Die Information, dass Episode 4,712 die Montageaufgabe in 8.3 Sekunden ohne Qualitätsmängel abgeschlossen hat, verbindet die Lerndaten des Roboters mit dem MES-System und ermöglicht die Auswahl hochwertiger Demonstrationen für das Training.

Die mit dem MES verknüpften Metadaten bilden die Brücke. Wenn das Datenerfassungssystem eines Roboters Episodendateien mit MES-Auftrags-IDs, Teiletypen und Qualitätskennzahlen erstellt, kann der resultierende Datensatz programmatisch gefiltert werden. Episoden, die mit Nacharbeit, Ausschuss oder Bedienereingriffen zusammenhängen, können ausgeschlossen oder als Fehlerbeispiele behandelt werden.

In der Praxis erweist sich bei der Nachrüstung einer Pilotzelle zur Datenerfassung die Netzwerkarchitektur der Zelle als häufigster Engpass, nicht die Protokollierungsfunktion des Roboters. Industrielle Ethernet-Segmente, die für die Kommunikation zwischen SPS und Roboter im Sub-kHz-Bereich ausgelegt sind, sind oft nicht für die Bandbreite kontinuierlicher Mehrkamera-Videodaten plus Propriozeptionsdaten dimensioniert. Eine Zelle mit zwei 1080p-Kameras (30 fps), Sechs-Achsen-Kraftdaten und Gelenkzuständen erzeugt etwa 150–300 MB Rohdaten pro Minute. Die Planung der Speicher- und Netzwerkinfrastruktur vor der Inbetriebnahme vermeidet spätere Nachrüstkosten.

Kennzeichnung von Pipelines und Werkzeugen

Rohaufnahmen von Episoden sind nicht trainingsbereit. Sie benötigen Sprachannotationen, Objektsegmentierungsmasken und in einigen Fällen Belohnungskennzeichnungen.

Sprachliche Annotation

Sprachkonditionierte VLA-Modelle benötigen eine natürlichsprachliche Beschreibung der Aufgabe jeder Episode. Bei kleinen Datensätzen erfolgt dies manuell; bei Datensätzen mit mehr als 10,000 Episoden ist eine automatische Annotation mithilfe von Bild-Sprach-Modellen (GPT-4V, Gemini oder spezialisierten Bildbeschreibungsmodellen) erforderlich. Die Qualitätssicherung erfordert die manuelle Überprüfung einer Stichprobe, um systematische Fehler des automatischen Annotators zu erkennen.

Objektsegmentierung und -verfolgung

Richtlinien, die den Objektzustand analysieren, profitieren von Segmentierungsmasken pro Episode, die die manipulierten Objekte identifizieren. Das Segment Anything Model (SAM 2) von Meta ermöglicht interaktive Segmentierung auch bei großen Datensätzen und reduziert die Annotationszeit in Kombination mit einem Tracking-Propagation-Durchlauf von Stunden auf Minuten pro Episode.

Belohnungsgestaltung für RLHF

Wenn Episoden sowohl Erfolgs- als auch Misserfolgsdemonstrationen beinhalten, ermöglicht die Belohnungskennzeichnung die Feinabstimmung des bestärkenden Lernens durch menschliches Feedback (RLHF). Menschliche Annotatoren bewerten die Episodenergebnisse, und diese Präferenzen trainieren ein Belohnungsmodell, das die Richtlinienaktualisierungen beeinflusst. Diese Pipeline wird in der pi0-Entwicklung von Physical Intelligence eingesetzt und wird für das Training industrieller Aufgaben untersucht, bei denen binäre Erfolgs-/Misserfolgskennzeichnungen bereits von MES verfügbar sind.

Datenschutz, geistiges Eigentum und Datensatzlizenzierung

Beiträge zu offenen Datensätzen werfen Fragen des geistigen Eigentums auf, die industrielle OEMs vor einer Teilnahme klären müssen.

Die wichtigsten verwendeten Lizenzkategorien sind CC-BY (Namensnennung erforderlich, kommerzielle Nutzung erlaubt), CC-BY-NC (nur nicht-kommerziell) und Apache 2.0 (freizügig, einschließlich kommerzieller Nutzung und Neuverteilung der Modellgewichte). Proprietäre Datensätze (Tesla Optimus, Flottendaten von Figure, Boston Dynamics) werden nicht extern weitergegeben.

Für Fabrikhersteller besteht die größte Sorge um geistiges Eigentum in der Offenlegung von Prozessinformationen: Aufnahmen, die eine bestimmte Vorrichtungskonfiguration, einen Werkzeugweg oder eine Spannvorrichtung zeigen, können firmeneigene Fertigungsmethoden preisgeben. Üblicherweise wird der visuelle Kontext auf die Ebene des Endeffektors reduziert, ausschließlich Gelenktrajektoriendaten (ohne Kameradaten) bereitgestellt oder synthetische Darstellungen der Manipulationstrajektorie vor einem generischen Hintergrund verwendet. Verschiedene neue Konsortialmodelle bieten rechtliche Rahmenbedingungen für die anonymisierte Bereitstellung von Industriedaten auf Basis gegenseitiger Geheimhaltungsvereinbarungen in Verbindung mit Apache-2.0-Datenlizenzen.

Laut einer Analyse von Stanford CRFM und Kooperationspartnern in der Studie „Robot Learning Survey 2024“ stellen proprietäre Datensilos das größte strukturelle Hindernis für Fortschritte im Bereich der verkörperten KI über die aktuellen Benchmarks hinaus dar. Industrielle OEMs, die jetzt interne Daten-Governance-Frameworks entwickeln, werden gut positioniert sein, um sich an Datensatzkonsortien zu beteiligen, sobald diese Programme in den nächsten 18–24 Monaten formalisiert werden.

Wie Fabrik-OEMs Daten beisteuern können

Anbieter von Industrieautomatisierungslösungen (darunter FANUC, ABB, KUKA und zertifizierte Systemintegratoren wie EVST) agieren an der Schnittstelle von Roboterhardware und realen Produktionsumgebungen. Diese Position prädestiniert sie – bei entsprechendem betrieblichen und rechtlichen Rahmen – zu wichtigen Akteuren im Ökosystem der verkörperten KI-Daten.

Pilotzellen mit Teleoperations-Overlay

Der einfachste Einstiegspunkt ist eine Pilotzelle, in der der Produktionsroboter mit einer Teleoperations-Overlay-Software ausgestattet ist: einem Führungs- und Folgearm, mit dem ein Bediener verschiedene Varianten des Produktionsvorgangs demonstriert. Diese Demonstrationen werden in geringer Anzahl (50–500 Episoden) erfasst und reichen aus, um ein vortrainiertes VLA-Modell auf den jeweiligen Produktionsvorgang abzustimmen. Der Pilotzellenansatz erfordert keine Änderungen an der Sicherheitszertifizierung der Produktionszelle, da das Teleoperationssystem als Eingabegerät für die Robotersteuerung und nicht als paralleler Steuerungspfad fungiert.

Nachrüstung der Protokollierung auf Produktionsrobotern

Bestehende Produktionsroboter lassen sich mit leichten Protokollierungsmodulen nachrüsten, die Gelenkzustände, Endeffektorposition und Greiferkraft mit EtherCAT-Taktraten aufzeichnen und während der Produktion zeitgestempelte Episodendateien an einen Edge-Server senden. Dies erfordert keine Änderungen am Steuerungsprogramm des Roboters. Die protokollierten Daten erfassen das tatsächliche Manipulationsverhalten in der Produktion und sind damit aufgabenrelevanter als Labordemonstrationen. Die Industriesteuerungen von EVST, die mit 1 kHz EtherCAT-Zykluszeit arbeiten und nach CE/SGS/TÜV-Standards zertifiziert sind, bieten die deterministische Zeitarchitektur, auf der dieser Protokollierungsansatz basiert. Die Daten können ohne aufwändige Reintegrationsarbeiten bereinigt, anonymisiert und für gängige Robotik-Learning-Frameworks formatiert werden.

Teilnahme am Programm für anonymisierte Datensätze

Neue OEM-Datensatzprogramme (darunter der offene Beitragsbereich der AgiBot World und mehrere Konsortiumsdiskussionen auf der ICRA 2025) akzeptieren anonymisierte Daten aus der industriellen Manipulation. OEMs mit IATF16949-Zertifizierung, wie beispielsweise EVST, verfügen über bestehende Qualitätsmanagementprozesse, die sich gut mit den Anforderungen an die Metadatenintegrität dieser Programme vereinbaren lassen: nachvollziehbare Zeitstempel, dokumentierte Erfassungsprotokolle und validierte Sensorkalibrierungsdatensätze.

Globale Feldabdeckung als Datenvorteil

Ein OEM mit Außendiensttechnikern in über 100 Ländern kann Trainingsdaten für verkörperte KI aus wirklich vielfältigen Fertigungsumgebungen sammeln (unterschiedliche Werkstückgeometrien, Umgebungsbedingungen, Bedienerdemografie und Prozessvariationen). Diese geografische Vielfalt ist wertvoll, da darauf basierende Trainingsmethoden besser generalisieren als solche, die mit Daten aus einem einzelnen Labor oder einer einzelnen Anlage trainiert wurden. Die explosionsgeschützten, zertifizierten Roboter von EVST und das umfassende Produktsortiment von 3–800 kg ermöglichen die Datenerfassung auch in Bereichen wie der chemischen Verarbeitung, dem Umgang mit Gefahrstoffen und der Fertigung bei extremen Temperaturen, die die meisten akademischen Datensätze gar nicht abdecken.

Wichtige Branchenkennzahlen

Laut dem Bericht „World Robotics 2024“ der International Federation of Robotics (IFR) waren 2023 weltweit über 3.9 Millionen Industrieroboter im Einsatz. Die größten öffentlich zugänglichen Datensätze zur Robotermanipulation umfassen jedoch zusammen weniger als 2 Millionen Episoden. Dies verdeutlicht die Diskrepanz zwischen eingesetzter Hardware und verfügbaren Trainingsdaten. EVST begegnet diesem Problem durch die Erforschung von Nachrüstarchitekturen für die Protokollierung, die Produktionsroboterflotten in passive Datenerfassungsanlagen verwandeln.

Laut der Open X-Embodiment-Studie (Padalkar et al., Google DeepMind et al., 2023) zeigten Modelle, die mit Daten aus über 22 verschiedenen Robotertypen trainiert wurden, eine messbar bessere Generalisierung bei zurückgehaltenen Aufgaben als Modelle, die nur mit Daten eines einzelnen Robotertyps trainiert wurden. EVST begegnet diesem Problem, indem es sein internes Datenbewertungsframework so strukturiert, dass es bei der Bewertung der Eignung von Datensätzen für die Feinabstimmung in der Produktionslinie neben der Episodenanzahl auch die Diversität der Robotertypen gewichtet.

Branchenbeobachtungen mehrerer Robotiklabore aus den Jahren 2024–2025 zufolge ist die Diskrepanz zwischen visueller Simulation und Realität für die Mehrzahl der Fälle von Strategiefehlern bei Manipulationsaufgaben mit spiegelnden oder transparenten Objekten verantwortlich, die mit Standardverfahren zur Domänenrandomisierung nicht zuverlässig abgedeckt werden. EVST begegnet diesem Problem, indem fotorealistische Simulationswerkzeuge (insbesondere NVIDIA Cosmos und Gaussian Splatting) als potenzielle Erweiterungsebenen für seine Roadmap zur KI-gestützten Bewegungsplanung überwacht werden.

Verwandte Anleitungen

• Verkörperte KI und VLA-Modelle in der Industrierobotik: Was Fabrikingenieure wissen müssen. Behandelt die Architektur von Bild-Sprache-Aktionsmodellen und deren Einsatzbeschränkungen auf Produktionshardware.
• Humanoide Roboter in der industriellen Fertigung 2026. Untersucht, welche Aufgaben tatsächlich von humanoiden Plattformen im Vergleich zu herkömmlichen Industrierobotern bewältigt werden können.
• Humanoide Roboter vs. Industrieroboterarme für den Fabrikeinsatz im Jahr 2026Ein direkter Vergleich der Leistungsfähigkeit, der Kosten und des Integrationsaufwands zwischen den beiden Bauformen.
• Vollständiger Leitfaden zu Cobots: Typen, Auswahl und Anwendungen im Jahr 2026Die grundlegende Referenz für die Auswahl kollaborativer Roboter unter Berücksichtigung von Nutzlast-, Anwendungs- und Umgebungsanforderungen.

Häufig gestellte Fragen

Warum ist die Datenerfassung für verkörperte KI schwieriger als die Datenerfassung für Sprachmodelle?

Sprachmodelle werden mit Texten trainiert, die bereits in großem Umfang im Internet verfügbar sind. Verkörperte KI-Roboter müssen aktionsbezogene sensomotorische Daten erfassen: synchronisierte Gelenkwinkel, Greiferkräfte, Kamerabilder und Aufgabenkontext – alles aufgezeichnet während der physischen Manipulation. Diese Daten sind im Webmaßstab nicht vorhanden und ihre Generierung ist kostspielig. Jede ferngesteuerte Episode benötigt typischerweise 1–10 Minuten Arbeitszeit eines erfahrenen Bedieners, um eine einzige Trainingstrajektorie zu erstellen. Die Qualität verschlechtert sich, wenn der Bediener mit der Dynamik des Roboters nicht vertraut ist.

Worin besteht der Unterschied zwischen Simulations-zu-Realitäts-Transfer und Domänenrandomisierung beim Robotertraining?

Das übergeordnete Ziel ist die Übertragung von Simulationen in die Realität: Eine Strategie soll in einer Simulation trainiert und anschließend auf einem realen Roboter ohne Leistungseinbußen eingesetzt werden. Domänenrandomisierung ist eine Technik, um dieses Ziel zu erreichen. Dabei werden Simulationsparameter – Beleuchtung, Texturen, Reibungskoeffizienten, Objektmassen – während des Trainings zufällig variiert, sodass die Strategie lernt, mit realen Variationen umzugehen, anstatt sich an ein einzelnes simuliertes Erscheinungsbild anzupassen. Weitere Methoden umfassen Domänenanpassung, fotorealistisches Rendering (wie in NVIDIA Cosmos) und Systemidentifikation.

Was ist Open X-Embodiment und wie viele Robotertypen deckt es ab?

Open X-Embodiment (OXE) ist ein umfangreicher, offener Datensatz für das Roboterlernen, der von Google DeepMind in Zusammenarbeit mit 33 Forschungseinrichtungen erstellt wurde. Er umfasst über eine Million Roboter-Episoden aus mehr als 22 Roboter-Instrumentierungen – darunter einarmige Manipulatoren, zweihändige Systeme, mobile Basen und feinmotorische Hände. Die auf OXE trainierten RT-X-Modelle zeigten, dass das Training verschiedener Instrumentierungen die Generalisierung von Strategien im Vergleich zu Modellen mit nur einer Instruktion verbessert.

Wie kann ein Fabrik-OEM Roboterdaten zum Training verkörperter KI beitragen, ohne firmeneigenes Prozess-IP preiszugeben?

Der praktikabelste Ansatz ist die anonymisierte Dateneingabe: Prozessidentifizierende Metadaten (Teilenummern, Kundenreferenzen, Zykluszeitvorgaben) werden entfernt, und es werden nur die Datenströme für Gelenktrajektorie und Greiferstatus übermittelt. Mehrere Datensatzprogramme – darunter AgiBot World und neue OEM-Konsortiumsinitiativen – akzeptieren anonymisierte Daten zur industriellen Manipulation unter den Lizenzbedingungen Apache 2.0 oder CC-BY. Eine Protokollierungsinfrastruktur mit deterministischen EtherCAT-Zeitstempeln gewährleistet, dass die Datenqualität den Aufnahmekriterien der Datensätze entspricht.

Welches Teleoperations-Datenerfassungssystem eignet sich am besten für industrielle Manipulationsaufgaben?

Für industrielle Manipulationsaufgaben sind ALOHA 2 (beidhändige Führungs- und Folgearme, kostengünstig, Open Source), UMI (am Handgelenk befestigt, vom Roboter entkoppelt, hochmobil) und Exoskelett-basierte Erfassungssysteme für höhere Nutzlasten oder Ganzkörperaufgaben die führenden Optionen. VR-Systeme mit Apple Vision Pro oder Meta Quest 3 gewinnen für die intuitive beidhändige Erfassung zunehmend an Bedeutung, benötigen jedoch Retargeting-Pipelines, um die Kinematik der menschlichen Hand in den Gelenkraum des Roboters zu übertragen. Die richtige Wahl hängt von den Freiheitsgraden des Zielroboters, der Nutzlast und davon ab, ob die Aufgabe den Einsatz beider Hände erfordert.

Letzte Aktualisierung: April 23, 2026

Sie finden weitere Information in der Produktübersicht für Verkörperte KI-Lösungen →