Zber údajov pre stelesnenú umelú inteligenciu: Teleoperácia, simulácia v reálnom svete a priemyselné súbory údajov v roku 2026

Obsah

Posledná aktualizácia: apríl 23, 2026

Zber údajov pre stelesnenú umelú inteligenciu: Teleoperácia, simulácia v reálnom svete a priemyselné súbory údajov v roku 2026

Dáta sú úzkym hrdlom pre stelesnenú umelú inteligenciu, nie výpočty. Trénovanie robotickej politiky vyžaduje synchronizované toky akcií a stavov, ktoré v internetovom meradle jednoducho neexistujú. Tento dopyt v súčasnosti uspokojujú tri zdroje. Ľudská teleoperácia prináša vysokokvalitné demonštrácie na úkor času operátora. Prenos zo simulácie do reality škáluje počet epizód, ale zavádza rozdiel vo vernosti. Veľké otvorené súbory údajov zhromažďujú príspevky z desiatok laboratórií a platforiem.

Prečo sú dáta úzkym miestom stelesnenej umelej inteligencie

Výpočty sa vyvíjali podľa predvídateľnej krivky škálovania. Klastre GPU schopné trénovať modely videnia, jazyka a akcie (VLA) s miliardami parametrov sú dnes komerčne dostupné. Čo sa však neškálovalo, sú dáta, ktoré tieto modely potrebujú: párové pozorovania a akcie zaznamenané počas fyzickej manipulácie s robotom s dostatočnou rozmanitosťou úloh a uskutočnení na vytvorenie zovšeobecnujúcich politík.

Jazykový model dokáže z webu spracovať bilión tokenov za pár týždňov. Súbor údajov o manipulácii s robotmi sa musí generovať epizóda po epizóde, pričom každá z nich vyžaduje fyzického robota, reálne alebo simulované prostredie, definíciu úlohy a buď ľudského operátora, alebo skriptovanú demonštráciu. Medzinárodná federácia robotiky (IFR) odhaduje, že v roku 2024 bolo na celom svete v prevádzke viac ako 3.9 milióna priemyselných robotov, no najväčšie otvorené súbory údajov o manipulácii obsahujú rádovo jeden milión epizód. Táto medzera sa rýchlo neznižuje.

Výzva sa zhoršuje, keď vezmeme do úvahy medzeru v stelesnení: politika trénovaná na manipulátore s jedným ramenom so 6 stupňami voľnosti sa neprenáša čisto na bimanuálneho humanoida alebo mobilnú základňu s ramenom. Každý nový tvar robota efektívne resetuje požiadavky na údaje. Prístupy rozdelenia akcií (kde politika vytvára viackrokové akčné sekvencie namiesto jednotlivých krokov) znižujú latenciu inferencie, ale neznižujú potrebu diverzifikovaného trénovania.

Podľa článku Open X-Embodiment (Padalkar a kol., 2023, Google DeepMind a kol.) môže tréning krížových exekúcií na dátach o rôznych robotoch zlepšiť zovšeobecnenie politík nad rámec toho, čo poskytujú súbory údajov o jednotlivých exekúciách. EVST to rieši hodnotením kvality súborov údajov o krížových exekúciách ako súčasti svojho interného procesu hodnotenia pri výbere plánovania pohybu rozšíreného o umelú inteligenciu pre svoj kompletný rad robotov s hmotnosťou 3 – 800 kg. Hardvérovú stránku tejto dátovej stratégie nájdete v... Riešenia EVST Embodied AI... vrátane humanoidných robotov, obratných rúk na zber údajov, štvornohých robotov a pilotných platforiem pre vývoj stelesnenej umelej inteligencie.

Tri hlavné zdroje údajov: silné stránky a limity

Teleoperácia

Teleoperácia zachytáva ukážky cieľového robota v odbornej kvalite. Operátor ovláda robota na diaľku pomocou ramien pre vedúcich a sledujúcich, VR headsetov, exoskeletových oblekov alebo prenosných rozhraní, zatiaľ čo systém synchrónne zaznamenáva každý uhol kĺbu, stav chápadla, údaj o sile a záber kamery. Keďže údaje pochádzajú od človeka vykonávajúceho skutočnú úlohu na skutočnom robote, zhoda medzi činnosťou a stavom je presná a rozdiel medzi stelesneniami je nulový.

Obmedzením je priepustnosť. Zruční teleoperátori produkujú približne 5 – 50 epizód za hodinu v závislosti od zložitosti úlohy a kvalita údajov sa znižuje, keď sa operátori unavia. Teleoperácia sa tiež nedá škálovať na obnovu po zlyhaní bez premysleného návrhu protokolu: ak operátori vždy uspejú, politika sa nikdy nenaučí zotavovať z porúch.

Prenos zo simulátora do reality

Fyzikálne simulátory (MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet) umožňujú výskumníkom generovať milióny epizód robotov s takmer nulovými marginálnymi nákladmi. Jeden klaster GPU dokáže spustiť tisíce paralelných simulačných inštancií cez noc. Náklady sa prejavia pri nasadení: politiky trénované v simulácii často zlyhávajú, keď čelia dynamike kontaktov v reálnom svete, šumu senzorov a vizuálnym variáciám, ktoré simulátor presne nereplikoval. Preklenutie tejto medzery medzi simuláciou a realitou je aktívnou oblasťou výskumu.

Internetové video a pasívne pozorovanie

Rozsiahle modely vizuálneho jazyka predtrénované na internetovom videu prinášajú všeobecné pochopenie scény, ktoré pomáha s orientáciou v úlohe. Architektúra pi0 od spoločnosti Physical Intelligence a podobné návrhy VLA využívajú predtrénovanie videa na zdokonalenie manipulačných zručností pred doladením na demonštráciách robotov. Obmedzením je, že video neposkytuje žiadne označenia akcií: video ukazuje ruku uchopujúcu objekt, ale nezaznamenáva aplikovanú silu ani uhly kĺbov ekvivalentného robotického ramena. Modely inverznej dynamiky dokážu čiastočne odvodiť akcie z videa, ale výsledné pseudooznačenia obsahujú šum.

Hardvér a protokoly pre teleoperáciu

Výber rozhrania teleoperácie ovplyvňuje kvalitu údajov aj priepustnosť zberu. Nižšie sú uvedené systémy, ktoré boli najaktívnejšie vo výskumných a komerčných programoch v rokoch 2025 – 2026.

Ramená lídra a nasledovníka: ALOHA a mobilná ALOHA

Systém ALOHA (nízkonákladový hardvérový systém s otvoreným zdrojovým kódom pre bimanuálnu teleoperáciu) bol vyvinutý na Stanfordskej univerzite a využíva dve lacné vedúce ramená, ktorými operátor pohybuje ručne, zatiaľ čo dve spárované sledovacie ramená na robote replikujú pohyb v reálnom čase. Bimanuálny dizajn zachytáva úlohy s dvoma rukami, ktoré systémy s jedným ramenom nedokážu. Mobilný systém ALOHA rozširuje platformu na mobilnú základňu. Systém ALOHA 2, uvedený na trh v roku 2024, zlepšil presnosť sledovania kĺbov a ergonómiu operátora. Cena hardvéru pre pár vedúci-sledovateľ je nižšia ako 20 000 dolárov, čo viedlo k jeho prijatiu v desiatkach akademických laboratórií.

Rozhrania na zápästie: UMI

Univerzálne manipulačné rozhranie (UMI) od Stanfordskej a Kolumbijskej univerzity umiestňuje kameru typu rybie oko a enkodér na ručný chápadlo. Operátor fyzicky predvádza úlohu v prostredí, zatiaľ čo chápadlo zaznamenáva polohu a stav uchopenia koncového efektora. UMI oddeľuje zber údajov od robota: demonštrácie je možné zhromažďovať v teréne a neskôr ich presmerovať na rôzne vyhotovenia robotov. Vďaka tomu je obzvlášť užitočné na zber údajov o manipulácii v reálnom prostredí mimo laboratórneho prostredia.

VR a náhlavné displeje

Apple Vision Pro a Meta Quest 3 sa skúmajú ako teleoperačné rozhrania. Ich lákadlom je bimanuálne sledovanie ruky so šiestimi stupňami voľnosti s intuitívnym ovládaním operátorom. Technickou výzvou je presmerovanie: kinematika ľudskej ruky (päť prstov, 27 kĺbov) sa musí mapovať na príkazy koncového efektora robota (zvyčajne chápadlá s 1 stupňom voľnosti alebo obratné ruky s 12 – 16 stupňami voľnosti). Bez starostlivého presmerovania zaznamenané ukážky obsahujú zámer operátora, ale nie priamo spustiteľné akcie robota.

Exoskelet a snímanie celého tela

Pre humanoidných robotov, ktorí potrebujú údaje o pohybe celého tela (vrátane lokomócie kombinovanej s manipuláciou), exoskeletové obleky zachytávajú kinematiku celého tela pri vzorkovacích frekvenciách nad 100 Hz. AgiBot používa prístup založený na exoskelete na zhromažďovanie údajov o manipulácii s humanoidmi pre svoj súbor údajov AgiBot World. Teleoperácia Fourier GR-1 sa podobne spolieha na nositeľné snímacie zariadenie prispôsobené konfigurácii kĺbov robota.

Obrázok a rozsiahle komerčné flotily

Spoločnosť Figure AI prevádzkuje v rámci výrobného závodu BMW vlastnú flotilu teleoptických robotov. Model zotrvačníka dát, v ktorom každý nasadený robot zhromažďuje nové epizódy, ktoré sa spätne odosielajú do tréningu, je tiež ústredným prvkom stratégie vývoja spoločnosti Tesla Optimus. Tieto systémy s uzavretou slučkou zhromažďujú priemyselné dáta rýchlosťou, ktorej sa otvorené akademické súbory údajov nemôžu porovnať.

Porovnanie teleoperačných platforiem

Plošina Zachytená Stupeň voľnosti Úroveň nákladov Odhadovaná priepustnosť (epizódy/hod.) Vhodnosť pre stelesnenie Sila kľúča
ALOHA 2 (Stanford / Trossen) 14 (bimanuálne, 7 v každom) Nízka (hardvér ~15 – 20 000 USD) 10-30 Bimanuálna manipulácia s pracovnou plochou Otvorený zdrojový kód, overený v školeniach o politike ACT
UMI (Stanford / Columbia) 6 (koncový efektor + úchop) Veľmi nízka cena (zariadenie za približne 500 dolárov) 20-60 Jednoramenné, s možnosťou presmerovania Zber vo voľnej prírode, nie je potrebný robot
Zariadenie Apple Vision Pro Až 52 (orientačné body ruky) Stredná (~3.5 000 USD HMD + súprava) 10-25 Bimanuálne / obratné ruky Intuitívny pocit z ovládania; priestorová zvuková spätná väzba
Súprava Meta Quest 3 Až 26 (ručné ovládanie + ovládač) Nízka–stredná (~500 USD HMD + súprava) 10-25 Bimanuálna / mobilná základňa Dostupné náklady; aktívny výskumný ekosystém
Exoskelet AgiBot A2 Celá horná časť tela (~44) Vysoká (patentovaná) 5-15 Humanoidné celé telo Koordinácia celého tela pre tréning humanoidov
Fourier GR-1 teleoptický systém Horná časť tela + ruky (~40) Vysoká (patentovaná) 5-15 Humanoid GR-1 Zladená kinematika, nulová strata pri opätovnom zacielení
Obrázok vlastnej flotily Úplný humanoid Veľmi vysoká (patentovaná) V rozsahu flotily (nezverejnené) Obrázok 02 humanoid Zotrvačník údajov z nasadenia, údaje z výroby BMW

Poznámka: Údaje o priepustnosti sú približné rozsahy odvodené z publikovaného výskumu a správ výskumníkov. Zručnosť jednotlivých operátorov a zložitosť úlohy významne ovplyvňujú výsledky.

Verejné súbory údajov: Open X-Embodiment, DROID, BridgeData, RoboSet, RH20T, AgiBot World

Ekosystém otvorených súborov údajov sa od roku 2022 rýchlo rozšíril. Nižšie je uvedený prehľad najcitovanejších kolekcií začiatkom roka 2026.

Otvorené X-uskutočnenie (OXE) a RT-X

OXE, zostavený spoločnosťou Google DeepMind v spolupráci s 33 prispievajúcimi inštitúciami, agreguje viac ako 1 milión epizód z viac ako 22 typov robotov. Súvisiace modely RT-X preukázali, že tréning na združených dátach z rôznych typov robotov prekonáva základné hodnoty z jednotlivých typov robotov v rámci zovšeobecnovacích benchmarkov. OXE je vydaný pod kombináciou licencií CC-BY a Apache 2.0 v závislosti od prispievajúcej inštitúcie. Prístup je možný prostredníctvom webovej stránky RT-X a HuggingFace.

Droidov

DROID (Distributed Robot Interaction Dataset) bol zozbieraný v 13 severoamerických výskumných laboratóriách pomocou štandardizovaného nastavenia Franka Panda s teleoperačným rozhraním v štýle ALOHA. Obsahuje približne 76 000 epizód rôznych manipulačných úloh v domácnostiach a na stoloch. Štandardizovaný hardvér na rôznych miestach robí z DROID jeden z najčistejších rozsiahlych manipulačných súborov údajov pre klonovanie správania a experimenty s RLHF.

BridgeData V2

BridgeData V2 od UC Berkeley a Stanford obsahuje približne 60 000 ukážok širokej škály úloh manipulácie so stolom. Používa rameno WidowX a vyznačuje sa rozmanitosťou úloh (viac ako 70 rôznych kategórií úloh), čo z neho robí bežnú základňu pre dolaďovanie modelov VLA. Vydané pod licenciou CC-BY 4.0.

RoboSet

RoboSet z IIT Delhi a jeho spolupracovníkov poskytuje údaje o manipulácii v kuchyni pri viacerých úlohách zozbierané pomocou Franka Panda. Zahŕňajú pozorovania RGB-D a jazykové anotácie pre každú epizódu. RoboSet je navrhnutý špeciálne na podporu hodnotenia jazykovo podmienených politík, vďaka čomu je užitočný na testovanie zovšeobecnenia podľa pokynov.

RH20T

RH20T (Robot-Human 20 Tasks) je rozsiahly súbor údajov o manipulácii s bohatým kontaktom, ktorý obsahuje synchronizovanú propriocepciu robota, RGB video, hĺbkové, hmatové a zvukové streamy. Multimodálna bohatosť robí z RH20T referenciu pre výskumníkov pracujúcich na politikách, ktoré vyžadujú kontaktné snímanie, nielen vizuálne pozorovanie.

Svet AgiBot

AgiBot World je súbor údajov o manipulácii s humanoidmi, ktorý vytvorila čínska robotická spoločnosť AgiBot s využitím vlastného systému zberu údajov založeného na exoskelete. Zameriava sa na úlohy manipulácie s humanoidmi v celom tele a predstavuje jeden z prvých rozsiahlych súborov údajov zameraných špecificky na humanoidné formy v priemyselnom meradle. AgiBot World je dostupný na základe otvorenej výskumnej licencie na nekomerčné použitie.

Referenčný odkaz na verejne stelesnenú AI dátovú sadu

dataset Vlastník / Vedúci Odhadovaný počet epizód Zahrnuté uskutočnenia Licencie prístup
Otvorené X-uskutočnenie (OXE) Google DeepMind + 33 partnerov ~1,000,000+ 22+ typov robotov CC-BY / Apache 2.0 (na prispievateľa) Stránka RT-X, HuggingFace
Droidov 13 severoamerických laboratórií ~ 76,000 Franka Panda (štandardizovaná) CC BY 4.0 droid-dataset.github.io
BridgeData V2 Kalifornská univerzita v Berkeley / Stanford ~ 60,000 Rameno WidowX CC BY 4.0 rail.eecs.berkeley.edu
RoboSet IIT Dillí a kol. ~110 000+ (nahlásené) Franka Panda CC BY 4.0 HuggingFace
RH20T Viacinštitucionálny (CN/EÚ) ~110 000+ (nahlásené) Viacero typov ramien CC-BY-NC 4.0 rh20t.github.io
Svet AgiBot AgiBot (Čína) ~1 000 000 (cieľ) Humanoidný AgiBot Otvorený výskum (nekomerčný) Portál AgiBot

Počet epizód a licenčné podmienky pochádzajú z dokumentov o súboroch údajov a oficiálnych repozitárov k začiatku roka 2026. Pred použitím si overte aktuálne podmienky.

Sim-to-Real Stack: Isaac Sim, MuJoCo, Cosmos a randomizácia domén

Simulácia škáluje generovanie dát. Praktickou otázkou je, ktorý simulátor použiť a ako preklenúť medzeru späť k fyzickému hardvéru.

MuJoCo

MuJoCo (Multi-Joint dynamics with Contact) zostáva štandardom pre výskum manipulácie s bohatým kontaktom. Jeho fyzikálny engine spracováva dynamiku tuhých telies, mäkké kontakty a systémy ovládané šľachami s výpočtovou efektívnosťou, ktorá umožňuje tisíce paralelných tréningových epizód na jednom klastri GPU. Vydanie open-source verzie pod platformou Google DeepMind v roku 2022 výrazne urýchlilo jeho prijatie. Väčšina akademického klonovania správania a benchmarkov RLHF používa prostredia MuJoCo.

NVIDIA Isaac Sim a Isaac Lab

Isaac Sim beží na platforme Omniverse od spoločnosti NVIDIA a poskytuje fyziku akcelerovanú GPU s vysoko verným vykresľovaním. Isaac Lab (predtým OmniIsaacGymEnvs) je framework pre posilňovacie učenie postavený na platforme Isaac Sim, optimalizovaný pre masívne paralelné trénovanie politík. Kľúčovou výhodou je fotorealistické vykresľovanie: vizuály s trasovaním ciest od Isaaca Simu zmenšujú medzeru vo vizuálnej doméne v porovnaní so zjednodušenými vykresľovačmi MuJoCo, čo je dôležité pre trénovanie politík založených na videní.

NVIDIA Cosmos

Cosmos je platforma pre svetové modely od spoločnosti NVIDIA, ktorá bola oznámená koncom roka 2024. Namiesto simulácie fyziky z prvých princípov generuje Cosmos fotorealistické video interakcií robotov a objektov z textových alebo obrazových pokynov, trénovaných na rozsiahlych video súboroch údajov. Sľubom je generovanie syntetických tréningových dát, ktoré vyzerajú dostatočne reálne na to, aby sa preklenula medzera medzi vizuálnou simuláciou a realitou bez ručne vytváranej randomizácie domén. Začiatkom roka 2026 niekoľko laboratórií pre učenie robotov skúma Cosmos ako vrstvu na rozšírenie dát popri skutočných demonštráciách.

Gaussovské rozstrekovanie a rekonštrukcia scény

3D Gaussovské splatting rekonštruuje fotorealistické scény z malej sady RGB obrázkov v priebehu niekoľkých minút namiesto hodín. Pre tréning robotov to znamená, že laboratórium môže naskenovať nové pracovné prostredie, rekonštruovať Gaussovskú scénu a generovať nové uhly pohľadu alebo konfigurácie objektov na rozšírenie dát bez toho, aby bolo potrebné použiť fyzikálny simulátor. Tento prístup sa integruje do niekoľkých sim-to-real kanálov ako nízkonákladový nástroj na randomizáciu vizuálnych domén.

Randomizácia domén a identifikácia systému

Randomizácia domény počas trénovania náhodne preskupuje parametre simulácie (textúry objektov, svetelné podmienky, koeficienty trenia, tuhosť kĺbov robota), čím sa politika núti byť odolná voči variáciám, a nie prispôsobená jednej simulovanej konfigurácii. Identifikácia systému využíva komplementárny prístup: presne meria fyzikálne parametre skutočného robota (hmotnosť, zotrvačnosť, poddajnosť kĺbov) a tieto hodnoty používa v simulácii na minimalizáciu medzery pred randomizáciou.

Učenie sa v rámci učebných osnov postupne aplikuje randomizáciu. Politika sa najprv trénuje v úzkej, čistej simulácii a potom sa postupne stretáva s väčšími variáciami, ako sa zlepšuje jej výkon. Tento stupňovitý prístup často konverguje rýchlejšie ako aplikovanie úplnej randomizácie od začiatku.

Kompromisy medzi kvalitou údajov a kvantitou

Viac údajov neznamená automaticky lepšie. Zloženie súboru údajov určuje, čo natrénovaná politika dokáže a čo nemôže.

Rozmanitosť úloh je dôležitejšia ako počet epizód, keď je cieľom všeobecná politika. Súbor údajov so 100 000 epizódami tej istej úlohy typu „pick-and-place“ vytvorí špecialistu. Súbor údajov s 10 000 epizódami rozloženými na 50 typov úloh môže vytvoriť politiku, ktorá sa po niekoľkých doladeniach prenesie na nové úlohy.

Rozmanitosť uskutočnení je dôležitá pre prenos medzi robotmi. Hodnota OXE spočíva práve v tom, že zahŕňa typy rúk, mobilné platformy a obratné ruky. Politika vopred natrénovaná na OXE a doladená na novom robotovi zvyčajne prekonáva politiku trénovanú od začiatku len na údajoch toho istého nového robota, čo je výsledok konzistentný vo viacerých publikovaných štúdiách.

Dĺžka epizódy a zotavenie po zlyhaní sú podceňované. Dátové súbory zhromaždené skúsenými teleoperátormi, ktorí zriedka zlyhávajú, vytvárajú politiky, ktoré nevedia, ako sa zotaviť z porúch. Zámerné vkladanie poruchových stavov a demonštrácie zotavenia podstatne zlepšujú odolnosť v reálnom svete. Niektoré laboratóriá používajú na generovanie týchto údajov adverzárne poruchy počas teleoperačných relácií.

Podľa pozorovaní z odvetvia z viacerých správ laboratórií pre učenie robotov v rokoch 2024 – 2025, hraničná hodnota ďalších epizód prudko klesá, keď súbor údajov pokrýva úlohu pri približne 500 – 1 000 demonštráciách, zatiaľ čo hraničná hodnota nových typov úloh zostáva vysoká až do tisícov rôznych úloh. EVST to zohľadňuje pri štruktúrovaní buniek pre zber pilotných údajov, pričom uprednostňuje šírku úlohy pred akumuláciou opakovaných epizód.

Úvahy o údajoch priemyselnej triedy

Zber údajov z tovární kladie požiadavky, ktoré akademické teleoperačné systémy zvyčajne nespĺňajú.

Prvou požiadavkou je deterministické protokolovanie. Vo výrobnej bunke musí byť časová pečiatka na údaji z kĺbového enkodéra sledovateľná k referencii nástenných hodín s presnosťou na submilisekundy. Riadenie cez zbernicu EtherCAT 1 kHz, ktoré je štandardom pre priemyselné roboty (vrátane robotov v rade EVST), poskytuje deterministický základ pre časovanie, ktorý umožňuje synchronizáciu viacerých senzorov. Systém bežiaci na frekvencii 1 kHz generuje 1 000 vzoriek stavu kĺbu za sekundu na os; zarovnanie tohto prúdu so snímkami kamery pri 30 – 60 fps a údajmi o sile a krútiacom momente pri 500 Hz vyžaduje disciplinovanú architektúru hardvérovej časovej pečiatky, nie softvérové ​​ukladanie do vyrovnávacej pamäte.

Bezpečnostné štítky sú potrebné, keď epizódy zahŕňajú udalosti takmer neúspechu, aktivácie núdzového zastavenia alebo porušenia limitov sily. Tieto štítky sú potrebné pre dodržiavanie predpisov aj pre školiace politiky, ktoré chápu stavy relevantné z hľadiska bezpečnosti. Priemyselné riadiace jednotky, ktoré zaznamenávajú príčiny núdzového zastavenia a prekročenia krútiaceho momentu kĺbov na úrovni hardvéru, uľahčujú sledovanie tohto označovania.

Anotácia času cyklu spája epizódy robota s výsledkami výroby. Vedomie, že epizóda 4 712 dokončila montážnu úlohu za 8.3 sekundy s nulovými príznakmi kvality, prepája učebné dáta robota so systémom MES a umožňuje výber vysokokvalitných ukážok pre tréning.

Metadáta prepojené s MES tvoria most. Keď systém zaznamenávania údajov robota zapisuje súbory epizód s pripojenými ID úloh MES, typmi dielov a výsledkami kvality, výsledný súbor údajov je možné programovo filtrovať. Epizódy spojené s prepracovaním, zmetkami alebo prepísaním operátora je možné vylúčiť alebo považovať za demonštrácie zlyhania.

V praxi pri dodatočnom vybavení pilotnej bunky na zber údajov nie je najčastejším úzkym hrdlom schopnosť robota zaznamenávať údaje, ale sieťová architektúra bunky. Priemyselné ethernetové segmenty, ktoré boli navrhnuté pre komunikáciu medzi PLC a robotom pri frekvenciách pod kHz, nie sú vždy dimenzované na šírku pásma nepretržitého viackamerového videa a propriocepčných streamov. Bunka s dvoma kamerami s rozlíšením 1080p pri 30 snímkach za sekundu plus šesťosové silové údaje a stavy kĺbov generuje približne 150 – 300 MB surových epizódnych údajov za minútu. Plánovanie úložnej a sieťovej infraštruktúry pred nasadením umožňuje vyhnúť sa neskorším nákladom na dodatočné vybavenie.

Označovanie potrubí a nástrojov

Nespracované záznamy epizód nie sú pripravené na trénovanie. Potrebujú jazykové anotácie, masky segmentácie objektov a v niektorých prípadoch aj označenia odmien.

Anotácia jazyka

Jazykovo podmienené modely VLA potrebujú popis úlohy každej epizódy v prirodzenom jazyku. Pre malé súbory údajov sa to robí manuálne; pre súbory údajov nad 10 000 epizód je nevyhnutná automatická anotácia pomocou modelov vizuálneho jazyka (GPT-4V, Gemini alebo špecializované modely titulkov). Kontrola kvality vyžaduje ľudské preskúmanie vzorky, aby sa v automatickom anotátore odhalili systematické chyby.

Segmentácia a sledovanie objektov

Politiky, ktoré uvažujú o stave objektov, profitujú z masiek segmentácie pre jednotlivé epizódy identifikujúcich manipulované objekty. Model Segment Anything Model (SAM 2) od spoločnosti Meta umožňuje interaktívnu segmentáciu spracovateľnú v rozsahu súboru údajov, čím sa v kombinácii s priechodom sledovania šírenia skracuje čas anotácie z hodín na minúty na epizódu.

Tvarovanie odmien pre RLHF

Keď epizódy zahŕňajú demonštrácie úspechu aj neúspechu, označovanie odmien umožňuje doladenie posilňovacieho učenia z ľudskej spätnej väzby (RLHF). Ľudskí anotátori hodnotia výsledky epizód a tieto preferencie trénujú model odmien, ktorý formuje aktualizácie politík. Tento postup sa používa vo vývoji pi0 spoločnosti Physical Intelligence a skúma sa pre trénovanie priemyselných úloh, kde sú binárne označenia úspechu/neúspechu už k dispozícii z MES.

Ochrana osobných údajov, duševné vlastníctvo a licencovanie dátových súborov

Príspevky z otvorených súborov dát vyvolávajú otázky duševného vlastníctva, ktoré musia výrobcovia priemyselných OEM vyriešiť pred zapojením sa.

Hlavné používané kategórie licencií sú CC-BY (vyžaduje sa uvedenie autora, povolené komerčné použitie), CC-BY-NC (iba nekomerčné) a Apache 2.0 (povoľujúce, vrátane komerčného použitia a redistribúcie hmotnosti modelu). Vlastnícke súbory údajov (Tesla Optimus, údaje o vozovom parku spoločnosti Figure, Boston Dynamics) sa externe nezdieľajú.

Pre výrobcov originálneho vybavenia z tovární je problémom duševného vlastníctva odhalenie procesu: epizóda zobrazujúca špecifickú konfiguráciu prípravku, dráhu nástroja alebo návrh upínacieho prípravku môže odhaliť proprietárne výrobné metódy. Štandardným zmierňujúcim opatrením je odstránenie vizuálneho kontextu na úroveň koncového efektora, prispievanie iba prúdmi spoločných trajektórií (bez údajov z kamery) alebo použitie syntetických vykreslení manipulačnej trajektórie na všeobecnom pozadí. Niekoľko vznikajúcich konzorciálnych modelov ponúka právne rámce pre anonymizovaný príspevok priemyselných údajov na základe dohôd o vzájomnom mlčanlivosti v kombinácii s licenciami na údaje Apache 2.0.

Podľa analýzy Stanford CRFM a spolupracovníkov v prieskume o učení robotov z roku 2024 predstavujú proprietárne dátové silá najväčšiu štrukturálnu bariéru pre pokrok v oblasti umelej inteligencie nad rámec súčasných štandardov. Priemyselní výrobcovia originálnych zariadení (OEM), ktorí teraz vyvíjajú interné rámce pre riadenie údajov, budú mať možnosť zúčastniť sa konzorcií pre dátové súbory, keďže tieto programy sa formalizujú v priebehu nasledujúcich 18 – 24 mesiacov.

Ako môžu výrobcovia originálnych dielov (OEM) prispievať údajmi

Dodávatelia priemyselnej automatizácie (vrátane spoločností FANUC, ABB, KUKA a certifikovaných integrátorov na kľúč, ako napríklad EVST) sa nachádzajú na priesečníku robotického hardvéru a reálneho výrobného prostredia. Táto pozícia z nich robí prirodzených prispievateľov do ekosystému údajov o umelej inteligencii, ak je zavedený prevádzkový a právny rámec.

Pilotné bunky s prekrytím teleoperácie

Najdostupnejším vstupným bodom je pilotná bunka, kde je výrobný robot vybavený teleoperačným prekrytím: ramenom typu „líder-nasledovateľ“, ktoré operátor používa na demonštráciu variácií výrobnej úlohy. Tieto demonštrácie sa zhromažďujú v malom objeme (50 – 500 epizód) a sú postačujúce na doladenie vopred trénovaného modelu VLA na konkrétnu výrobnú úlohu. Prístup pilotnej bunky nevyžaduje zmeny v bezpečnostnej certifikácii výrobnej bunky, pretože teleoperačný systém funguje ako vstupné zariadenie do ovládača robota, nie ako paralelná riadiaca cesta.

Dodatočná logizácia na výrobných robotoch

Existujúce výrobné roboty je možné dodatočne vybaviť ľahkými modulmi na zaznamenávanie, ktoré zaznamenávajú stav kĺbov, polohu koncového efektora a silu chápadla rýchlosťou EtherCAT a počas výrobných cyklov zapisujú súbory epizód s časovou pečiatkou na okrajový server. To si nevyžaduje žiadnu zmenu v riadiacom programe robota. Zaznamenané údaje zachytávajú skutočné manipulačné správanie vo výrobe, ktoré je pre danú úlohu reprezentatívnejšie ako laboratórne demonštrácie. Priemyselné riadiace jednotky EVST, pracujúce s cyklami EtherCAT s frekvenciou 1 kHz a certifikované podľa noriem CE/SGS/TUV, poskytujú deterministickú architektúru časovania, na ktorej je tento prístup k zaznamenávaniu závislý. Údaje je možné vyčistiť, anonymizovať a formátovať pre štandardné rámce na učenie robotov bez nákladných prác na reintegrácii.

Účasť v programe anonymizovaných súborov údajov

Vznikajúce programy OEM pre súbory údajov (vrátane otvorenej sekcie príspevkov AgiBot World a niekoľkých diskusií konzorcia na ICRA 2025) akceptujú anonymizované údaje o priemyselnej manipulácii. OEM s certifikáciou IATF16949, ako napríklad EVST, majú existujúce procesy riadenia kvality, ktoré sa dobre premietajú do požiadaviek na integritu metadát, ktoré tieto programy špecifikujú: sledovateľné časové pečiatky, zdokumentované protokoly zberu a validované záznamy o kalibrácii senzorov.

Globálne pokrytie terénu ako dátová výhoda

Výrobca originálnych dielov (OEM) s terénnymi inžiniermi vo viac ako 100 krajinách môže zhromažďovať údaje o školení umelej inteligencie z naozaj rozmanitých výrobných prostredí (rôzne geometrie obrobkov, okolité podmienky, demografické údaje operátorov a variácie procesov). Táto geografická rozmanitosť je cenná, pretože pravidlá školené na nej sa lepšie zovšeobecňujú ako pravidlá školené na údajoch z jedného laboratória alebo zariadenia. Roboty EVST s certifikátom odolným voči výbuchu a kompletný rad robotov s nosnosťou 3 – 800 kg znamenajú, že zber údajov sa môže rozšíriť na prostredia, ako je chemické spracovanie, manipulácia s nebezpečnými materiálmi a výroba pri extrémnych teplotách, ktoré väčšina akademických súborov údajov vôbec nepokrýva.

Kľúčové údaje o odvetví

Podľa správy Medzinárodnej federácie robotiky (IFR) s názvom World Robotics 2024 bolo v roku 2023 v prevádzke na celom svete viac ako 3.9 milióna priemyselných robotov, no najväčšie otvorené súbory údajov o manipulácii s robotmi obsahujú spolu menej ako 2 milióny epizód, čo ilustruje rozdiel v rozsahu medzi nasadeným hardvérom a dostupnými tréningovými údajmi. EVST to rieši skúmaním architektúr protokolovania dodatočnej montáže, ktoré premieňajú flotily výrobných robotov na pasívne prostriedky na zber údajov.

Podľa článku Open X-Embodiment (Padalkar a kol., Google DeepMind a kol., 2023) modely trénované na dátach z viacerých stelesnení z viac ako 22 typov robotov vykazovali merateľne lepšiu generalizáciu na oneskorených úlohách ako modely trénované len na dátach z ktoréhokoľvek jednotlivého stelesnenia. EVST to rieši štruktúrovaním svojho interného rámca pre hodnotenie údajov tak, aby pri posudzovaní užitočnosti súboru údajov pre svoje dolaďovacie hodnotenia výrobnej linky vážil rozmanitosť stelesnení spolu s počtom epizód.

Podľa pozorovaní z viacerých laboratórií pre učenie robotov v rokoch 2024 – 2025 je rozdiel medzi vizuálnou simuláciou a reálnym prostredím príčinou väčšiny prípadov zlyhania politík v manipulačných úlohách, ktoré zahŕňajú zrkadlové alebo priehľadné objekty, ktoré štandardné techniky randomizácie domén spoľahlivo nepokrývajú. EVST to rieši monitorovaním fotorealistických simulačných nástrojov (konkrétne NVIDIA Cosmos a Gaussian Splatting pipelines) ako kandidátskych vrstiev pre rozšírenie svojho plánu plánovania pohybu s využitím umelej inteligencie.

Súvisiaci sprievodcovia

Často kladené otázky

Prečo je zber údajov o stelesnenej umelej inteligencii ťažší ako zber údajov pre jazykové modely?

Jazykové modely sa trénujú na texte, ktorý už existuje na internete v obrovskom rozsahu. Stelesnené roboty s umelou inteligenciou musia zhromažďovať senzomotorické údaje párované s akciou: synchronizované uhly kĺbov, sily chápadla, zábery kamery a kontext úlohy, všetko zaznamenané počas fyzickej manipulácie. Tieto údaje neexistujú vo webovom meradle a ich generovanie je drahé. Každá teleoperovaná epizóda zvyčajne trvá 1 – 10 minút času skúseného operátora na vytvorenie jednej tréningovej trajektórie a kvalita sa znižuje, ak operátor nie je oboznámený s dynamikou robota.

Aký je rozdiel medzi prenosom zo simulácie do reality a randomizáciou domény pri tréningu robotov?

Prenos zo simulácie do reality je širokým cieľom: trénovať politiku v simulácii a nasadiť ju na fyzickom robotovi bez poklesu výkonu. Randomizácia domén je jednou z techník na dosiahnutie tohto cieľa. Počas trénovania náhodne mení parametre simulácie – osvetlenie, textúry, koeficienty trenia, hmotnosti objektov – takže sa politika naučí zvládať variácie v reálnom svete, a nie sa prispôsobovať jedinému simulovanému vzhľadu. Medzi ďalšie metódy patrí adaptácia domény, fotorealistické vykresľovanie (ako v NVIDIA Cosmos) a identifikácia systému.

Čo je Open X-Embodiment a koľko typov robotov pokrýva?

Open X-Embodiment je rozsiahly otvorený súbor údajov o učení robotov, ktorý zostavila spoločnosť Google DeepMind v spolupráci s 33 výskumnými inštitúciami. Zhromažďuje viac ako 1 milión epizód robotov vo viac ako 22 prevedeniach robotov – manipulátory s jedným ramenom, bimanuálne súpravy, mobilné základne a obratné ruky. Modely RT-X trénované na OXE preukázali, že tréning krížových prevedení zlepšuje zovšeobecnenie politík v porovnaní s východiskovými hodnotami pre jedno prevedenie.

Ako môže výrobca originálneho zariadenia (OEM) prispieť dátami z robotov k tréningu umelej inteligencie bez toho, aby odhalil proprietárne duševné vlastníctvo procesov?

Najpraktickejším prístupom je anonymizovaný príspevok epizód: odstrániť metadáta identifikujúce proces (čísla dielov, referencie zákazníkov, cieľové časy cyklu) a prispieť iba prúdmi spoločných trajektórií a stavu chápadla. Niekoľko programov pre súbory údajov – vrátane AgiBot World a vznikajúcich iniciatív konzorcia OEM – akceptuje anonymizované údaje o priemyselnej manipulácii pod podmienkami Apache 2.0 alebo CC-BY. Infraštruktúra protokolovania s deterministickými časovými pečiatkami EtherCAT zabezpečuje, že kvalita epizód spĺňa štandardy príjmu súborov údajov.

Ktorý systém zberu teleoperačných údajov funguje najlepšie pre úlohy priemyselnej manipulácie?

Pre priemyselnú manipuláciu sú hlavnými možnosťami ALOHA 2 (bimanuálne ramená typu „vedúci a sledujúci“, nízke náklady, open source), UMI (na zápästie, oddelené od robota, vysoko prenosné) a snímanie pomocou exoskeletu pre úlohy s vyšším užitočným zaťažením alebo úlohy s celým telom. VR zariadenia používajúce Apple Vision Pro alebo Meta Quest 3 získavajú na popularite pre intuitívne bimanuálne snímanie, ale vyžadujú presmerovanie kanálov na prenos kinematiky ľudskej ruky do kĺbového priestoru robota. Správna voľba závisí od stupňov voľnosti cieľového robota, užitočného zaťaženia a toho, či úloha vyžaduje dve ruky.

Posledná aktualizácia: apríl 23, 2026

Pozrite sa na našu Riešenia s umelou inteligenciou →

Úžasné! Zdieľať s:

Logo EVST
Prehľad ochrany osobných údajov

Táto webová lokalita používa súbory cookie, aby sme vám mohli poskytnúť najlepšiu možnú používateľskú skúsenosť. Informácie o súboroch cookie sú uložené vo vašom prehliadači a vykonávajú funkcie, ako napríklad rozpoznanie vás pri návrate na našu webovú stránku a pomáhajú nášmu tímu pochopiť, ktoré časti webovej stránky sú pre vás najzaujímavejšie a najužitočnejšie.