Ostatnia aktualizacja: kwiecień 23, 2026

Gromadzenie danych dla ucieleśnionej sztucznej inteligencji: teleoperacja, symulacja rzeczywistości i przemysłowe zbiory danych w 2026 r.

Dane, a nie obliczenia, stanowią wąskie gardło dla ucieleśnionej sztucznej inteligencji. Szkolenie robota wymaga zsynchronizowanych strumieni akcji i stanów, które po prostu nie istnieją w skali internetowej. Obecnie trzy źródła zaspokajają to zapotrzebowanie. Teleoperacja człowieka zapewnia wysokiej jakości demonstracje kosztem czasu operatora. Transfer danych symulacyjnych do rzeczywistych zwiększa liczbę epizodów, ale wprowadza lukę w wierności. Duże otwarte zbiory danych gromadzą dane z dziesiątek laboratoriów i platform.

Dlaczego dane stanowią wąskie gardło sztucznej inteligencji

Obliczenia podążały przewidywalną krzywą skalowania. Klastry GPU zdolne do trenowania miliardowych modeli wizji-języka-działania (VLA) są już dostępne komercyjnie. Nie udało się jednak skalować danych potrzebnych tym modelom: sparowanych obserwacji i działań zarejestrowanych podczas fizycznej manipulacji robotem, z wystarczającą różnorodnością zadań i wcieleń, aby wygenerować reguły, które można uogólnić.

Model językowy może wchłonąć bilion tokenów z sieci w ciągu kilku tygodni. Zbiór danych dotyczących manipulacji robotem musi być generowany epizod po epizodzie, a każdy z nich wymaga fizycznego robota, rzeczywistego lub symulowanego środowiska, definicji zadania oraz operatora lub demonstracji opartej na scenariuszu. Międzynarodowa Federacja Robotyki (IFR) szacuje, że w 2024 roku na całym świecie działało ponad 3.9 miliona robotów przemysłowych, a największe otwarte zbiory danych dotyczących manipulacji zawierają około miliona epizodów. Różnica ta nie zmniejsza się szybko.

Wyzwanie pogłębia się, gdy weźmiemy pod uwagę lukę w zakresie wcieleń: strategia wytrenowana na jednoramiennym manipulatorze o 6 stopniach swobody nie przekłada się płynnie na dwuręcznego humanoida ani na mobilną bazę z ramieniem. Każdy nowy format robota skutecznie resetuje wymagania dotyczące danych. Podejścia oparte na fragmentacji działań (gdzie strategia generuje wieloetapowe sekwencje działań zamiast pojedynczych kroków) zmniejszają opóźnienie wnioskowania, ale nie zmniejszają zapotrzebowania na zróżnicowane pokrycie treningowe.

Według publikacji Open X-Embodiment (Padalkar i in., 2023, Google DeepMind i in.), trening międzyurzeczywistnieniowy na zróżnicowanych danych robotów może poprawić generalizację polityki w stopniu wykraczającym poza możliwości pojedynczych zestawów danych. EVST rozwiązuje ten problem, oceniając jakość zestawów danych międzyurzeczywistnieniowych w ramach swojego wewnętrznego procesu oceny przy wyborze planowania ruchu wspomaganego sztuczną inteligencją dla swojej gamy robotów o pełnym zakresie udźwigu 3–800 kg. Więcej informacji na temat sprzętowej strony tej strategii danych można znaleźć w artykule: Rozwiązania EVST Embodied AI, w tym roboty humanoidalne, zręczne ręce zbierające dane, roboty czworonożne i platformy pilotażowe do rozwoju ucieleśnionej sztucznej inteligencji.

Trzy główne źródła danych: mocne i słabe strony

Teleoperacja

Teleoperacja rejestruje demonstracje o jakości eksperckiej na sprzęcie robota docelowego. Operator steruje robotem zdalnie, za pomocą ramion typu leader-follower, zestawów VR, egzoszkieletów lub interfejsów ręcznych, a system synchronicznie rejestruje każdy kąt stawu, stan chwytaka, odczyt siły i klatkę kamery. Ponieważ dane pochodzą od człowieka wykonującego rzeczywiste zadanie na rzeczywistym robocie, zgodność działania ze stanem jest dokładna, a różnica między ucieleśnieniem jest zerowa.

Ograniczeniem jest przepustowość. Doświadczeni teleoperatorzy generują około 5–50 odcinków na godzinę, w zależności od złożoności zadania, a jakość danych pogarsza się wraz ze zmęczeniem operatorów. Teleoperacja nie jest również skalowalna pod kątem odzyskiwania danych po awarii bez przemyślanego projektu protokołu: jeśli operatorzy zawsze odnoszą sukcesy, strategia nigdy nie nauczy się odzyskiwania danych po zakłóceniach.

Transfer z symulatora do rzeczywistości

Symulatory fizyczne (MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet) pozwalają badaczom generować miliony epizodów robotów przy niemal zerowym koszcie krańcowym. Pojedynczy klaster GPU może uruchomić tysiące równoległych instancji symulacji w ciągu nocy. Koszty są widoczne po wdrożeniu: strategie trenowane w symulacji często zawodzą w obliczu rzeczywistej dynamiki kontaktów, szumu czujników i zmienności obrazu, których symulator nie odtworzył dokładnie. Zniwelowanie tej luki między symulacją a rzeczywistością jest aktywnym obszarem badań.

Wideo internetowe i bierna obserwacja

Duże modele wizyjno-językowe, wstępnie wytrenowane na wideo internetowym, zapewniają ogólne zrozumienie sceny, co pomaga w ugruntowaniu zadania. Architektura pi0 firmy Physical Intelligence i podobne projekty VLA wykorzystują wstępne trenowanie wideo do bootstrapowania umiejętności manipulacyjnych przed ich dopracowaniem w demonstracjach robotów. Ograniczeniem jest to, że wideo nie dostarcza żadnych etykiet działań: film pokazuje dłoń chwytającą obiekt, ale nie rejestruje przyłożonej siły ani kątów stawów równoważnego ramienia robota. Modele dynamiki odwrotnej mogą częściowo wnioskować o działaniach na podstawie wideo, ale powstałe pseudoetykiety niosą ze sobą szum.

Sprzęt i protokoły teleoperacyjne

Wybór interfejsu teleoperacyjnego wpływa zarówno na jakość danych, jak i przepustowość ich gromadzenia. Poniżej przedstawiono systemy najbardziej aktywne w programach badawczych i komercyjnych w latach 2025–2026.

Ramiona lidera i zwolennika: ALOHA i Mobile ALOHA

System ALOHA (A Low-cost Open-source Hardware System for Bimanual Teleoperation) został opracowany na Uniwersytecie Stanforda i wykorzystuje dwa niedrogie ramiona prowadzące, którymi operator porusza ręcznie, podczas gdy dwa dopasowane ramiona śledzące robota odtwarzają ruch w czasie rzeczywistym. Dwuręczna konstrukcja pozwala na wykonywanie zadań oburącz, których nie potrafią systemy jednoramienne. Mobilna wersja ALOHA rozszerza platformę na mobilną bazę. ALOHA 2, wydana w 2024 roku, poprawiła dokładność śledzenia stawów i ergonomię operatora. Koszt sprzętu dla pary lider-podążający wynosi poniżej 20 000 dolarów, co przyczyniło się do wdrożenia tego rozwiązania w dziesiątkach laboratoriów akademickich.

Interfejsy montowane na nadgarstku: UMI

Uniwersalny interfejs manipulacyjny (UMI), opracowany przez Uniwersytety Stanford i Columbia, montuje kamerę typu rybie oko i enkoder na ręcznym chwytaku. Operator fizycznie demonstruje zadanie w środowisku, podczas gdy chwytak rejestruje położenie efektora końcowego i stan chwytu. UMI oddziela zbieranie danych od robota: demonstracje można rejestrować w terenie, a następnie przekierowywać do różnych wcieleń robota. Dzięki temu jest on szczególnie przydatny do gromadzenia danych manipulacyjnych w warunkach naturalnych poza laboratorium.

VR i wyświetlacze montowane na głowie

Apple Vision Pro i Meta Quest 3 są badane jako interfejsy teleoperacyjne. Atrakcyjność oburęcznego śledzenia dłoni o sześciu stopniach swobody z intuicyjną obsługą przez operatora. Wyzwaniem inżynieryjnym jest retargeting: kinematyka ludzkiej dłoni (pięć palców, 27 stawów) musi być odwzorowana na polecenia efektora końcowego robota (zazwyczaj chwytaków o jednym stopniu swobody lub zręcznych dłoni o 12–16 stopniach swobody). Bez starannego retargetingu zarejestrowane demonstracje zawierają intencje operatora, ale nie bezpośrednio wykonywalne działania robota.

Egzoszkielet i przechwytywanie całego ciała

W przypadku robotów humanoidalnych, które potrzebują danych o ruchu całego ciała (w tym lokomocji połączonej z manipulacją), egzoszkielety rejestrują kinematykę całego ciała z częstotliwością próbkowania powyżej 100 Hz. AgiBot wykorzystuje podejście oparte na egzoszkielecie do gromadzenia danych o manipulacji humanoidalnej do swojego zbioru danych AgiBot World. Teleoperacja Fourier GR-1 również opiera się na przenośnym systemie przechwytującym, dopasowanym do konfiguracji stawów robota.

Floty komercyjne na dużą skalę i figurki

Figure AI zarządza własną flotą systemów teleoperacyjnych w całej swojej fabryce BMW. Model koła zamachowego danych, w którym każdy wdrożony robot zbiera nowe epizody, które są następnie wykorzystywane w szkoleniu, jest również kluczowy dla strategii rozwoju Tesla Optimus. Te systemy zamkniętej pętli gromadzą dane przemysłowe w tempie, z którym nie mogą się równać otwarte akademickie zbiory danych.

Porównanie platform teleoperacyjnych

Uwaga: dane dotyczące przepustowości są przybliżone i pochodzą z opublikowanych badań oraz relacji badaczy. Umiejętności poszczególnych operatorów i złożoność zadań mają istotny wpływ na wyniki.

Publiczne zbiory danych: Open X-Embodiment, DROID, BridgeData, RoboSet, RH20T, AgiBot World

Ekosystem otwartych zbiorów danych dynamicznie się rozwija od 2022 roku. Poniżej znajduje się przegląd najczęściej cytowanych zbiorów na początku 2026 roku.

Otwarte ucieleśnienie X (OXE) i RT-X

Zbudowany przez Google DeepMind we współpracy z 33 instytucjami, OXE gromadzi ponad milion epizodów z ponad 22 typów robotów. Powiązane modele RT-X wykazały, że trenowanie na zbiorczych danych z różnych wcieleń daje lepsze wyniki niż trening z pojedynczych wcieleń w testach generalizacji. OXE jest udostępniany na licencji CC-BY i Apache 2.0, w zależności od instytucji, z którą współpracuje. Dostęp jest możliwy za pośrednictwem strony internetowej RT-X i HuggingFace.

DROID

DROID (Distributed Robot Interaction Dataset) został zebrany w 13 północnoamerykańskich laboratoriach badawczych przy użyciu standardowej konfiguracji Franka Panda z interfejsem teleoperacyjnym w stylu ALOHA. Zawiera około 76 000 epizodów różnorodnych zadań manipulacyjnych wykonywanych w gospodarstwach domowych i na stołach. Standaryzowany sprzęt w różnych ośrodkach sprawia, że ​​DROID jest jednym z najczystszych zestawów danych manipulacyjnych na dużą skalę do eksperymentów z klonowaniem zachowań i RLHF.

BridgeData V2

BridgeData V2, opracowana przez Uniwersytet Kalifornijski w Berkeley i Stanford, zawiera około 60 000 demonstracji obejmujących szeroki wachlarz zadań manipulacyjnych na blacie stołu. Wykorzystuje ramię WidowX i wyróżnia się różnorodnością zadań (ponad 70 odrębnych kategorii), co czyni ją powszechną bazą do precyzyjnego dostrajania modeli VLA. Udostępniona na licencji CC-BY 4.0.

Zestaw Robo

RoboSet, opracowany przez IIT Delhi i jego współpracowników, dostarcza dane dotyczące wielozadaniowej manipulacji w kuchni, zebrane za pomocą Franka Panda. Zawiera obserwacje RGB-D i adnotacje językowe dla każdego odcinka. RoboSet został zaprojektowany specjalnie z myślą o wspieraniu ewaluacji polityki warunkowanej językiem, co czyni go przydatnym do testowania generalizacji przestrzegania instrukcji.

RH20T

RH20T (Robot-Human 20 Tasks) to obszerny zbiór danych manipulacyjnych, bogaty w dane kontaktowe, obejmujący zsynchronizowane propriocepcję robota, wideo RGB, głębię, dane dotykowe i strumienie audio. Bogactwo multimodalne sprawia, że ​​RH20T stanowi punkt odniesienia dla badaczy pracujących nad politykami, które wymagają wykrywania kontaktu, a nie tylko obserwacji wizualnej.

Świat AgiBota

AgiBot World to zbiór danych o manipulacji humanoidami, opracowany przez AgiBot, chińską firmę robotyczną, z wykorzystaniem jej systemu gromadzenia danych opartego na egzoszkieletach. Koncentruje się on na zadaniach związanych z manipulacją całym ciałem humanoida i stanowi jeden z pierwszych wielkoskalowych zbiorów danych ukierunkowanych na humanoidalne formy w skali przemysłowej. AgiBot World jest dostępny na licencji Open Research do użytku niekomercyjnego.

Publiczny zbiór danych dotyczących sztucznej inteligencji ucieleśnionej

Liczba odcinków i warunki licencji pochodzą z dokumentów zbiorów danych i oficjalnych repozytoriów z początku 2026 r. Przed użyciem należy sprawdzić aktualne warunki.

Stos Sim-to-Real: Isaac Sim, MuJoCo, Cosmos i randomizacja domen

Symulacja skaluje generowanie danych. Praktyczne pytanie brzmi: jakiego symulatora użyć i jak zniwelować lukę w stosunku do fizycznego sprzętu.

MuJoCo

MuJoCo (Multi-Joint Dynamics with Contact) pozostaje standardem w badaniach nad manipulacją bogatą w kontakty. Jego silnik fizyczny obsługuje dynamikę ciała sztywnego, miękkie kontakty i systemy aktywowane ścięgnami z wydajnością obliczeniową, która umożliwia tysiące równoległych epizodów treningowych na jednym klastrze GPU. Udostępnienie oprogramowania open source w ramach Google DeepMind w 2022 roku znacznie przyspieszyło adopcję. Większość akademickich testów porównawczych klonowania zachowań i RLHF wykorzystuje środowiska MuJoCo.

NVIDIA Isaac Sim i Isaac Lab

Isaac Sim działa na platformie NVIDIA Omniverse i zapewnia akcelerowaną przez GPU fizykę z renderowaniem o wysokiej wierności. Isaac Lab (wcześniej OmniIsaacGymEnvs) to platforma uczenia maszynowego oparta na Isaac Sim, zoptymalizowana pod kątem masowo równoległego trenowania strategii. Kluczową zaletą jest fotorealistyczne renderowanie: wizualizacje oparte na śledzeniu ścieżki w Isaac Sim zmniejszają lukę w domenie wizualnej w porównaniu z uproszczonymi rendererami MuJoCo, co ma znaczenie w trenowaniu strategii opartych na wizji.

NVIDIA Kosmos

Cosmos to platforma NVIDIA World Foundation Model, zapowiedziana pod koniec 2024 roku. Zamiast symulować fizykę od podstaw, Cosmos generuje fotorealistyczne wideo interakcji robotów i obiektów na podstawie komunikatów tekstowych lub graficznych, trenowanych na dużych zbiorach danych wideo. Obiecuje generowanie syntetycznych danych treningowych, które wyglądają na tyle realistycznie, że zniwelują lukę między symulacją wizualną a rzeczywistością bez konieczności ręcznej randomizacji domen. Od początku 2026 roku Cosmos jest testowany przez kilka laboratoriów uczenia robotów jako warstwa rozszerzająca dane na podstawie rzeczywistych demonstracji.

Rozpryskiwanie Gaussa i rekonstrukcja sceny

Technologia 3D Gaussian Splatting rekonstruuje fotorealistyczne sceny z niewielkiego zestawu obrazów RGB w ciągu minut, a nie godzin. W przypadku szkolenia robotów oznacza to, że laboratorium może zeskanować nowe środowisko pracy, zrekonstruować scenę Gaussa i generować nowe punkty widzenia lub konfiguracje obiektów w celu rozszerzenia danych, bez konieczności korzystania z symulatora fizycznego. To podejście jest integrowane z kilkoma procesami symulacji rzeczywistej jako niedrogie narzędzie do randomizacji domeny wizualnej.

Randomizacja domen i identyfikacja systemu

Randomizacja domeny losuje parametry symulacji (tekstury obiektów, warunki oświetleniowe, współczynniki tarcia, sztywność stawów robota) podczas treningu, wymuszając odporność strategii na zmiany, a nie dopasowanie jej do pojedynczej symulowanej konfiguracji. Identyfikacja systemu opiera się na podejściu komplementarnym: precyzyjnie mierzy rzeczywiste parametry fizyczne robota (masę, bezwładność, podatność stawów) i wykorzystuje te wartości w symulacji, aby zminimalizować lukę przed randomizacją.

Uczenie się w ramach programu nauczania stosuje randomizację stopniowo. Strategia jest najpierw trenowana w wąskiej, czystej symulacji, a następnie stopniowo, w miarę poprawy wyników, napotyka na coraz większą zmienność. To etapowe podejście często prowadzi do szybszej konwergencji niż stosowanie pełnej randomizacji od samego początku.

Kompromisy między jakością a ilością danych

Więcej danych nie oznacza automatycznie lepszych wyników. Skład zbioru danych kształtuje to, co wytrenowana polityka może, a czego nie.

Różnorodność zadań ma większe znaczenie niż liczba epizodów, gdy celem jest strategia generalistyczna. Zbiór danych obejmujący 100 000 epizodów tego samego zadania typu „wybierz i umieść” prowadzi do wyłonienia specjalisty. Zbiór danych obejmujący 10 000 epizodów rozłożonych na 50 typów zadań może prowadzić do opracowania strategii, która po dopracowaniu w kilku krokach może zostać przeniesiona na nowe zadania.

Różnorodność wcieleń ma znaczenie dla transferu między robotami. Wartość OXE polega właśnie na tym, że obejmuje ona różne typy ramion, platformy mobilne i zręczne dłonie. Strategia wstępnie wytrenowana w OXE i dopracowana na nowym robocie zazwyczaj przewyższa strategię wytrenowaną od podstaw wyłącznie na danych tego samego nowego robota, co jest zgodne z wynikami wielu opublikowanych badań.

Długość epizodów i odzyskiwanie danych po awarii są niedoceniane. Zbiory danych gromadzone przez wykwalifikowanych teleoperatorów, którzy rzadko popełniają błędy, generują strategie, które nie potrafią radzić sobie z zakłóceniami. Celowe wstrzykiwanie stanów awarii i demonstracje odzyskiwania danych znacząco poprawiają odporność w warunkach rzeczywistych. Niektóre laboratoria wykorzystują zakłócenia wrogich systemów podczas sesji teleoperacyjnych do generowania tych danych.

Według obserwacji branżowych z licznych raportów laboratoriów uczenia robotów z lat 2024–2025, marginalna wartość dodatkowych epizodów gwałtownie spada, gdy zbiór danych obejmuje zadanie na poziomie około 500–1,000 demonstracji, podczas gdy marginalna wartość nowych typów zadań pozostaje wysoka nawet do tysięcy odrębnych zadań. EVST bierze to pod uwagę podczas strukturyzowania komórek zbierania danych pilotażowych, priorytetyzując zakres zadań nad powtarzalną akumulacją epizodów.

Zagadnienia dotyczące danych klasy przemysłowej

Gromadzenie danych w fabrykach wiąże się z wymaganiami, których akademickie systemy teleoperacyjne zazwyczaj nie uwzględniają.

Pierwszym wymogiem jest deterministyczne rejestrowanie. W komórce produkcyjnej znacznik czasu odczytu enkodera musi być identyfikowalny z odniesieniem zegara ściennego z dokładnością poniżej milisekundy. Sterowanie magistralą fieldbus EtherCAT 1 kHz, standardowo stosowane w robotach przemysłowych (w tym w ofercie EVST), zapewnia deterministyczną podstawę czasową, która umożliwia synchronizację wieloczujnikową. System pracujący z częstotliwością 1 kHz generuje 1,000 próbek stanu połączenia na sekundę na oś; zestrojenie tego strumienia z klatkami kamery przy 30–60 kl./s i danymi siły i momentu obrotowego przy 500 Hz wymaga zdyscyplinowanej architektury sprzętowego znakowania czasu, a nie buforowania programowego.

Etykiety bezpieczeństwa są wymagane, gdy zdarzenia obejmują zdarzenia potencjalnie wypadkowe, aktywacje wyłączników awaryjnych lub przekroczenia limitu siły. Etykiety te są niezbędne zarówno do zapewnienia zgodności, jak i do szkolenia w zakresie zasad rozumienia stanów istotnych dla bezpieczeństwa. Sterowniki przemysłowe, które rejestrują przyczyny zadziałania wyłączników awaryjnych i przekroczenia momentu obrotowego na poziomie sprzętowym, ułatwiają stosowanie tych etykiet.

Adnotacja w czasie cyklu łączy odcinki robota z wynikami produkcji. Wiedza, że ​​odcinek 4,712 zakończył montaż w 8.3 sekundy bez żadnych flag jakości, wiąże dane dotyczące uczenia się robota z systemem MES i umożliwia wybór wysokiej jakości demonstracji do szkolenia.

Połączone metadane MES stanowią most. Gdy system rejestrowania danych robota zapisuje pliki epizodów z dołączonymi identyfikatorami zadań MES, typami części i wynikami jakości, wynikowy zbiór danych można programowo filtrować. Epizody związane z przeróbkami, złomowaniem lub nadpisywaniem przez operatora można wykluczyć lub traktować jako demonstracje awarii.

W praktyce, podczas modernizacji komórki pilotażowej w celu gromadzenia danych, najczęstszym wąskim gardłem nie są możliwości rejestrowania danych przez robota, ale architektura sieciowa komórki. Segmenty przemysłowego Ethernetu, które zostały zaprojektowane do komunikacji między PLC a robotem z częstotliwością poniżej kHz, nie zawsze są dostosowane do przepustowości ciągłego strumienia wideo z wielu kamer i propriocepcji. Komórka obsługująca dwie kamery 1080p z prędkością 30 kl./s, dane dotyczące siły w sześciu osiach i stany stawów generuje około 150–300 MB surowych danych epizodów na minutę. Zaplanowanie infrastruktury pamięci masowej i sieciowej przed wdrożeniem pozwala uniknąć późniejszych kosztów modernizacji.

Etykietowanie rurociągów i narzędzi

Surowe nagrania odcinków nie są gotowe do szkolenia. Potrzebują adnotacji językowych, masek segmentacji obiektów, a w niektórych przypadkach etykiet nagród.

Adnotacja językowa

Modele VLA warunkowane językiem wymagają opisu w języku naturalnym zadania każdego odcinka. W przypadku małych zbiorów danych odbywa się to ręcznie; w przypadku zbiorów danych powyżej 10 000 odcinków konieczna jest automatyczna adnotacja z wykorzystaniem modeli wizyjno-językowych (GPT-4V, Gemini lub wyspecjalizowanych modeli napisów). Kontrola jakości wymaga ręcznej analizy próbki w celu wykrycia błędów systematycznych w automatycznym adnotatorze.

Segmentacja i śledzenie obiektów

Polityki, które analizują stan obiektów, korzystają z masek segmentacji dla poszczególnych odcinków, identyfikujących manipulowane obiekty. Model Segment Anything Model (SAM 2) firmy Meta umożliwia interaktywną segmentację w skali zbioru danych, skracając czas adnotacji z godzin do minut na odcinek w połączeniu ze śledzeniem propagacji.

Kształtowanie nagrody dla RLHF

Gdy odcinki obejmują zarówno demonstracje sukcesu, jak i porażki, etykietowanie nagród umożliwia uczenie się przez wzmacnianie (reinforcement learning) z wykorzystaniem dostrajania informacji zwrotnej od człowieka (RLHF). Ludzcy adnotatorzy klasyfikują wyniki odcinków, a preferencje te trenują model nagród, który kształtuje aktualizacje polityki. Ten proces jest wykorzystywany w rozwoju pi0 w Physical Intelligence i jest badany pod kątem szkolenia zadań przemysłowych, gdzie binarne etykiety sukcesu/porażki są już dostępne w MES.

Prywatność, własność intelektualna i licencjonowanie zbiorów danych

Otwarte udostępnianie zbiorów danych rodzi pytania dotyczące własności intelektualnej, które producenci OEM muszą rozwiązać przed przystąpieniem do projektu.

Główne stosowane kategorie licencji to CC-BY (wymagane podanie autorstwa, dozwolone użycie komercyjne), CC-BY-NC (tylko niekomercyjne) i Apache 2.0 (dozwolone, obejmujące użycie komercyjne i redystrybucję wag modeli). Własnościowe zbiory danych (Tesla Optimus, dane flotowe Figure'a, Boston Dynamics) nie są udostępniane osobom trzecim.

W przypadku producentów OEM z fabryk, problem z własnością intelektualną dotyczy ujawnienia procesu: epizod pokazujący konkretną konfigurację oprzyrządowania, ścieżkę narzędzia lub projekt mocowania może ujawnić zastrzeżone metody produkcji. Standardowym sposobem zapobiegania jest ograniczenie kontekstu wizualnego do poziomu efektora końcowego, udostępnianie wyłącznie strumieni trajektorii połączeń (bez danych z kamery) lub wykorzystanie syntetycznych renderingów trajektorii manipulacji na ogólnym tle. Kilka powstających modeli konsorcjów oferuje ramy prawne dla udostępniania zanonimizowanych danych przemysłowych w ramach wzajemnych umów o zachowaniu poufności w połączeniu z licencjami na dane Apache 2.0.

Według analizy przeprowadzonej przez Stanford CRFM i współpracowników w badaniu uczenia się robotów z 2024 roku, zastrzeżone silosy danych stanowią największą barierę strukturalną dla postępu w dziedzinie ucieleśnionej sztucznej inteligencji (AI) wykraczającego poza obecne standardy. Przemysłowi producenci OEM, którzy opracowują obecnie wewnętrzne ramy zarządzania danymi, będą mogli uczestniczyć w konsorcjach zbiorów danych, gdy programy te zostaną sformalizowane w ciągu najbliższych 18–24 miesięcy.

W jaki sposób producenci OEM mogą przekazywać dane

Dostawcy automatyki przemysłowej (w tym FANUC, ABB, KUKA i certyfikowani integratorzy rozwiązań pod klucz, tacy jak EVST) działają na styku sprzętu robotycznego i rzeczywistych środowisk produkcyjnych. Taka pozycja sprawia, że ​​są oni naturalnymi uczestnikami ekosystemu danych ucieleśnionej sztucznej inteligencji, o ile istnieją odpowiednie ramy operacyjne i prawne.

Komórki pilotażowe z nakładką teleoperacyjną

Najbardziej dostępnym punktem wejścia jest komórka pilotażowa, w której robot produkcyjny jest wyposażony w nakładkę teleoperacyjną: ramię lider-podążający, którego operator używa do demonstracji wariantów zadania produkcyjnego. Demonstracje te są gromadzone w niewielkich ilościach (50–500 epizodów) i wystarczają do precyzyjnego dostrojenia wstępnie wytrenowanego modelu VLA do konkretnego zadania produkcyjnego. Podejście z komórką pilotażową nie wymaga zmian w certyfikacie bezpieczeństwa komórki produkcyjnej, ponieważ system teleoperacji działa jako urządzenie wejściowe do sterownika robota, a nie jako równoległa ścieżka sterowania.

Modernizacja rejestrowania robotów produkcyjnych

Istniejące roboty produkcyjne można doposażyć w lekkie moduły rejestrujące, które rejestrują stan połączeń, położenie efektora końcowego i siłę chwytaka z szybkością EtherCAT, zapisując pliki epizodów ze znacznikami czasu na serwerze brzegowym podczas cykli produkcyjnych. Nie wymaga to żadnych zmian w programie sterującym robota. Zarejestrowane dane rejestrują rzeczywiste zachowania manipulacyjne podczas produkcji, co jest bardziej reprezentatywne dla danego zadania niż demonstracje laboratoryjne. Sterowniki przemysłowe EVST, działające z częstotliwością cykli EtherCAT 1 kHz i certyfikowane zgodnie z normami CE/SGS/TUV, zapewniają deterministyczną architekturę czasową, na której opiera się to podejście do rejestrowania. Dane można oczyścić, zanonimizować i sformatować zgodnie ze standardowymi platformami uczenia robotów bez kosztownej reintegracji.

Udział w programie anonimowych zbiorów danych

Nowe programy zestawów danych OEM (w tym otwarta ścieżka wkładu AgiBot World i kilka dyskusji konsorcjum na konferencji ICRA 2025) akceptują zanonimizowane dane dotyczące manipulacji przemysłowych. Producenci OEM z certyfikatem IATF16949, tacy jak EVST, posiadają istniejące procesy zarządzania jakością, które dobrze przekładają się na wymagania dotyczące integralności metadanych określone w tych programach: identyfikowalne znaczniki czasu, udokumentowane protokoły gromadzenia danych oraz zweryfikowane rekordy kalibracji czujników.

Globalny zasięg terenowy jako przewaga danych

Producent OEM, zatrudniający inżynierów terenowych w ponad 100 krajach, może gromadzić dane szkoleniowe sztucznej inteligencji z autentycznie zróżnicowanych środowisk produkcyjnych (różne geometrie detali, warunki otoczenia, dane demograficzne operatorów i zmienność procesów). Ta różnorodność geograficzna jest cenna, ponieważ zasady szkolone na jej podstawie dają lepsze rezultaty niż te szkolone na podstawie danych z pojedynczego laboratorium lub zakładu. Roboty EVST z certyfikatem przeciwwybuchowości i pełna gama robotów o udźwigu 3–800 kg oznaczają, że gromadzenie danych może obejmować środowiska takie jak przetwórstwo chemiczne, obsługa materiałów niebezpiecznych i produkcja w ekstremalnych temperaturach, których większość akademickich zbiorów danych w ogóle nie obejmuje.

Kluczowe dane branżowe

Według raportu Międzynarodowej Federacji Robotyki (IFR) World Robotics 2024, w 2023 roku na całym świecie działało ponad 3.9 miliona robotów przemysłowych, a największe otwarte zbiory danych dotyczących manipulacji robotami zawierają łącznie mniej niż 2 miliony epizodów, co ilustruje różnicę w skali między wdrożonym sprzętem a dostępnymi danymi szkoleniowymi. EVST rozwiązuje ten problem, badając architektury rejestrowania modernizacji, które przekształcają floty robotów produkcyjnych w pasywne zasoby gromadzenia danych.

Zgodnie z artykułem Open X-Embodiment (Padalkar i in., Google DeepMind i in., 2023), modele trenowane na danych z różnych wcieleń, pochodzących od ponad 22 typów robotów, wykazały mierzalnie lepszą generalizację w przypadku zadań wydzielonych niż modele trenowane wyłącznie na danych z dowolnego pojedynczego wcielenia. EVST rozwiązuje ten problem, ustrukturyzowując swoje wewnętrzne ramy oceny danych, aby uwzględniać różnorodność wcieleń wraz z liczbą epizodów podczas oceny użyteczności zbioru danych w ramach ewaluacji dostrajania na linii produkcyjnej.

Według obserwacji branżowych z wielu laboratoriów uczenia robotów w latach 2024–2025, luka między symulacją wizualną a rzeczywistością odpowiada za większość przypadków niepowodzenia strategii w zadaniach manipulacyjnych obejmujących obiekty lustrzane lub przezroczyste, których standardowe techniki randomizacji domeny nie obejmują w sposób niezawodny. EVST rozwiązuje ten problem, monitorując fotorealistyczne narzędzia symulacyjne (w szczególności NVIDIA Cosmos i potoki Gaussa Splatting) jako potencjalne warstwy rozszerzające dla swojej mapy drogowej planowania ruchu wspomaganego sztuczną inteligencją.

Powiązane przewodniki

• Ucieleśnione modele sztucznej inteligencji i VLA w robotyce przemysłowej: co muszą wiedzieć inżynierowie fabryczniOmówiono architekturę modeli wizja-język-działanie oraz ograniczenia ich wdrażania na sprzęcie produkcyjnym.
• Roboty humanoidalne w produkcji przemysłowej 2026. Analizuje, które zadania są faktycznie możliwe do realizacji przez platformy humanoidalne, a które przez konwencjonalne ramiona przemysłowe.
• Roboty humanoidalne kontra ramiona robotów przemysłowych do użytku w fabrykach w 2026 r.Bezpośrednie porównanie możliwości, kosztów i złożoności integracji dwóch formatów.
• Kompletny przewodnik po robotach współpracujących: typy, wybór i zastosowania w 2026 rokuPodstawowe odniesienie przy wyborze robota współpracującego, uwzględniające wymagania dotyczące udźwigu, zastosowania i środowiska.

Najczęściej zadawane pytania

Dlaczego zbieranie danych za pomocą sztucznej inteligencji ucieleśnionej jest trudniejsze niż zbieranie danych za pomocą modeli językowych?

Modele językowe trenują na tekście, który już istnieje w internecie na ogromną skalę. Ucieleśnione roboty AI muszą zbierać dane sensomotoryczne powiązane z działaniami: zsynchronizowane kąty stawów, siły chwytaka, klatki z kamery i kontekst zadania, rejestrowane podczas manipulacji fizycznej. Dane te nie istnieją w skali sieciowej i ich wygenerowanie jest kosztowne. Każdy zdalnie sterowany epizod zazwyczaj zajmuje 1–10 minut wykwalifikowanemu operatorowi, aby wygenerować pojedynczą trajektorię treningową, a jakość spada, jeśli operator nie zna dynamiki robota.

Jaka jest różnica między transferem symulacji do rzeczywistości a randomizacją domeny w szkoleniu robotów?

Przeniesienie symulacji z symulatora do rzeczywistości to ogólny cel: wytrenowanie strategii w symulacji i wdrożenie jej na fizycznym robocie bez spadku wydajności. Randomizacja domeny to jedna z technik pozwalających osiągnąć ten cel. Losowo zmienia ona parametry symulacji – oświetlenie, tekstury, współczynniki tarcia, masy obiektów – podczas treningu, dzięki czemu strategia uczy się radzić sobie ze zmiennością w świecie rzeczywistym, zamiast nadmiernie dopasowywać się do pojedynczego symulowanego wyglądu. Inne metody obejmują adaptację domeny, renderowanie fotorealistyczne (jak w NVIDIA Cosmos) oraz identyfikację systemu.

Czym jest Open X-Embodiment i jakie typy robotów obejmuje?

Open X-Embodiment to obszerny, otwarty zbiór danych do nauki robotów, stworzony przez Google DeepMind we współpracy z 33 współpracującymi instytucjami badawczymi. Agreguje on ponad milion epizodów robotycznych z ponad 22 wcieleń robotów — manipulatorów jednoramiennych, platform dwuręcznych, baz mobilnych i zręcznych dłoni. Modele RT-X trenowane w systemie OXE wykazały, że trening międzywcieleniowy poprawia generalizację strategii w porównaniu z bazami bazowymi opartymi na pojedynczych wcieleniach.

W jaki sposób producent OEM może udostępnić dane robota do szkolenia sztucznej inteligencji bez ujawniania zastrzeżonej własności intelektualnej procesu?

Najbardziej praktycznym podejściem jest anonimizacja danych dotyczących odcinków: usunięcie metadanych identyfikujących proces (numery części, referencje klientów, cele czasowe cyklu) i dodanie wyłącznie strumieni trajektorii połączeń i stanu chwytaka. Kilka programów do tworzenia zbiorów danych – w tym AgiBot World i nowe inicjatywy konsorcjum OEM – akceptuje zanonimizowane dane dotyczące manipulacji przemysłowych na warunkach licencji Apache 2.0 lub CC-BY. Infrastruktura rejestrowania z deterministycznymi znacznikami czasu EtherCAT zapewnia, że ​​jakość odcinków spełnia standardy dotyczące pobierania danych.

Który system gromadzenia danych teleoperacyjnych najlepiej sprawdza się w zadaniach manipulacji przemysłowej?

W przypadku manipulacji przemysłowych wiodącymi opcjami są ALOHA 2 (oburęczne ramiona typu lider-podążający, niskie koszty, oprogramowanie open source), UMI (montaż na nadgarstku, odseparowanie od robota, wysoka mobilność) oraz przechwytywanie oparte na egzoszkielecie do zadań wymagających większego udźwigu lub całego ciała. Platformy VR wykorzystujące Apple Vision Pro lub Meta Quest 3 zyskują na popularności w zakresie intuicyjnego przechwytywania oburęcznego, ale wymagają retargetingu, aby przełożyć kinematykę ludzkiej ręki na przestrzeń stawów robota. Właściwy wybór zależy od stopni swobody robota docelowego, udźwigu oraz tego, czy zadanie wymaga dwóch rąk.

Ostatnia aktualizacja: kwiecień 23, 2026

Sprawdź nasz Ucieleśnione rozwiązania AI →