Paskutinį kartą atnaujinta: balandžio 23, 2026

Duomenų rinkimas įkūnytajam dirbtiniam intelektui: teleoperacijos, simuliacijos ir realybės perdavimas bei pramoniniai duomenų rinkiniai 2026 m.

Įkūnyto dirbtinio intelekto kliūtis yra duomenys, o ne skaičiavimas. Roboto politikos mokymui reikalingi sinchronizuoti veiksmų ir būsenų srautai, kurie interneto mastu tiesiog neegzistuoja. Šiuo metu šią paklausą tenkina trys šaltiniai. Žmonių nuotolinis valdymas sukuria aukštos kokybės demonstracijas operatoriaus laiko sąskaita. Perdavimas iš simuliacijos į realybę padidina epizodų skaičių, tačiau sukuria tikslumo trūkumą. Dideli atviri duomenų rinkiniai telkia dešimčių laboratorijų ir platformų indėlį.

Kodėl duomenys yra įkūnytas dirbtinis intelektas (DI)?

Skaičiavimas vyko pagal nuspėjamą mastelio kreivę. Šiandien komerciškai prieinami GPU klasteriai, galintys apmokyti milijardo parametrų regėjimo-kalbos-veiksmo (VLA) modelius. Tačiau mastelio keitimas nebuvo susijęs su duomenimis, kurių reikia šiems modeliams: suporuotais stebėjimais ir veiksmais, užfiksuotais fizinio roboto manipuliavimo metu, turinčiais pakankamai užduočių ir įgyvendinimo variantų įvairovės, kad būtų galima sukurti apibendrinamas politikas.

Kalbos modelis per kelias savaites gali iš interneto gauti trilijoną žetonų. Robotų manipuliavimo duomenų rinkinys turi būti generuojamas epizodas po epizodo, kiekvienam iš jų reikia fizinio roboto, realios arba imituojamos aplinkos, užduoties apibrėžimo ir žmogaus operatoriaus arba scenarijaus demonstracijos. Tarptautinė robotikos federacija (IFR) apskaičiavo, kad 2024 m. visame pasaulyje veikė daugiau nei 3.9 mln. pramoninių robotų, tačiau didžiausi atviri manipuliavimo duomenų rinkiniai turi apie milijoną epizodų. Šis skirtumas sparčiai nemažėja.

Iššūkis dar labiau padidėja, kai atsižvelgiama į įgyvendinimo atotrūkį: politika, apmokyta su 6 laisvės zonų vienos rankos manipuliatoriumi, negali būti švariai perkelta į dvirankį humanoidą ar mobilią bazę su ranka. Kiekvienas naujas roboto formos faktorius efektyviai nustato duomenų reikalavimus iš naujo. Veiksmų fragmentavimo metodai (kai politika išveda kelių žingsnių veiksmų sekas, o ne pavienius veiksmus) sumažina išvadų delsą, tačiau nesumažina įvairios mokymo aprėpties poreikio.

Remiantis „Open X-Embodiment“ straipsniu (Padalkar ir kt., 2023 m., „Google DeepMind“ ir kt.), mokymas naudoti įvairius robotų duomenis naudojant skirtingus įkūnijimus gali pagerinti politikos apibendrinimą, palyginti su tuo, ką suteikia vieno įkūnijimo duomenų rinkiniai. EVST tai sprendžia vertindama skirtingų įkūnijimo duomenų rinkinių kokybę kaip savo vidinio vertinimo proceso dalį, kai renkamasi dirbtiniu intelektu papildytą judesių planavimą savo viso diapazono 3–800 kg robotų serijai. Šios duomenų strategijos techninės įrangos pusę žr. EVST įkūnyti dirbtinio intelekto sprendimai, įskaitant humanoidus robotus, miklias duomenų rinkimo rankas, keturkojus robotus ir bandomąsias platformas įkūnytam dirbtiniam intelektui kurti.

Trys pagrindiniai duomenų šaltiniai: stipriosios pusės ir ribos

Teleoperacija

Teleoperacijos technologija fiksuoja ekspertų lygio demonstracijas apie tikslinio roboto techninę įrangą. Operatorius valdo robotą nuotoliniu būdu, naudodamas lyderio ir sekėjo rankas, VR akinius, egzoskeleto kostiumus arba delnines sąsajas, o sistema sinchroniškai įrašo kiekvieną jungties kampą, griebtuvo būseną, jėgos rodmenis ir kameros kadrą. Kadangi duomenys gaunami iš žmogaus, atliekančio tikrąją užduotį su tikruoju robotu, veiksmo ir būsenos atitikimas yra tikslus, o įgyvendinimo varianto skirtumas yra lygus nuliui.

Apribojimas yra pralaidumas. Kvalifikuoti nuotolinio valdymo operatoriai, priklausomai nuo užduoties sudėtingumo, sukuria maždaug 5–50 epizodų per valandą, o duomenų kokybė prastėja, kai operatoriai pavargsta. Nuotolinio valdymo operatoriai taip pat negali atkurti gedimų be apgalvoto protokolo kūrimo: jei operatoriams visada pavyksta, politika niekada neišmoko atsigauti po trikdžių.

Perdavimas iš simuliatoriaus į realų pasaulį

Fizikos simuliatoriai („MuJoCo“, „NVIDIA Isaac Sim“, „Isaac Lab“, „PyBullet“) leidžia tyrėjams generuoti milijonus robotų epizodų beveik be jokių ribinių sąnaudų. Vienas GPU klasteris gali per naktį paleisti tūkstančius lygiagrečių modeliavimo egzempliorių. Sąnaudos pastebimos diegimo metu: modeliavime apmokytos politikos dažnai neveikia, kai susiduria su realaus pasaulio kontakto dinamika, jutiklių triukšmu ir vizualiniais variantais, kurių simuliatorius tiksliai neatkartojo. Šio atotrūkio tarp modeliavimo ir realaus pasaulio užpildymas yra aktyvi tyrimų sritis.

Internetinis vaizdo įrašas ir pasyvus stebėjimas

Dideli regėjimo ir kalbos modeliai, iš anksto apmokyti naudojant internetinius vaizdo įrašus, suteikia bendrą scenos supratimą, kuris padeda atlikti užduotį. „Physical Intelligence“ „pi0“ architektūra ir panašūs VLA projektai naudoja vaizdo įrašų išankstinį mokymą, kad būtų galima įdiegti manipuliavimo įgūdžius prieš juos tiksliai derinant robotų demonstracijose. Riba yra ta, kad vaizdo įraše nėra veiksmų etikečių: vaizdo įraše rodoma ranka, sugriebianti objektą, bet neįrašoma taikoma jėga ar lygiavertės roboto rankos sąnarių kampai. Atvirkštinės dinamikos modeliai gali iš dalies nustatyti veiksmus iš vaizdo įrašo, tačiau gautos pseudoetiketės turi triukšmą.

Teleoperacijų įranga ir protokolai

Nuotolinio valdymo sąsajos pasirinkimas lemia tiek duomenų kokybę, tiek duomenų rinkimo našumą. Žemiau pateikiamos sistemos, kurios buvo aktyviausios 2025–2026 m. mokslinių tyrimų ir komercinėse programose.

„Leader-Follower Arms“: ALOHA ir mobili ALOHA

Stanfordo universitete sukurta ALOHA (žemos kainos atvirojo kodo aparatinės įrangos sistema dvirankiam nuotoliniam valdymui) naudoja dvi nebrangias vadovaujančias rankas, kurias operatorius judina rankomis, o dvi suderintos roboto sekimo rankos realiuoju laiku atkartoja judesį. Dvirankis dizainas fiksuoja dvirankes užduotis, kurių negali atlikti vienos rankos sistemos. Mobilioji ALOHA platforma išplečiama į mobilią bazę. 2024 m. išleista ALOHA 2 pagerino sąnarių sekimo tikslumą ir operatoriaus ergonomiką. Vadovaujančios ir sekančios sistemos aparatinės įrangos kaina nesiekia 20 000 USD, todėl ji tapo prieinama dešimtyse akademinių laboratorijų.

Ant riešo tvirtinamos sąsajos: UMI

Stanfordo ir Kolumbijos universitetų sukurta universali manipuliavimo sąsaja (UMI) ant rankinio griebtuvo pritvirtina „žuvies akies“ kamerą ir kodavimo įrenginį. Operatorius fiziškai demonstruoja užduotį aplinkoje, o griebtuvas fiksuoja galinio efektoriaus pozą ir suėmimo būseną. UMI atsieja duomenų rinkimą nuo roboto: demonstracijos gali būti renkamos lauke ir vėliau pritaikomos skirtingiems roboto variantams. Tai ypač naudinga renkant manipuliavimo duomenis ne laboratorijoje.

VR ir ant galvos tvirtinami ekranai

„Apple Vision Pro“ ir „Meta Quest 3“ yra tiriamos kaip nuotolinio valdymo sąsajos. Jų patrauklumas slypi dvirankiame šešių laisvės laipsnių rankos sekime su intuityviu operatoriaus valdymu. Inžinerinis iššūkis – pakartotinis taikymas: žmogaus rankos kinematika (penki pirštai, 27 sąnariai) turi atitikti roboto galinio efektoriaus komandas (paprastai 1 laisvės laipsnių griebtuvai arba miklios rankos su 12–16 laisvės laipsnių). Be kruopštaus pakartotinio taikymo įrašytose demonstracijose matomi operatoriaus ketinimai, bet ne tiesiogiai vykdomi roboto veiksmai.

Egzoskeletas ir viso kūno fiksavimas

Humanoidiniams robotams, kuriems reikia viso kūno judesio duomenų (įskaitant judėjimą kartu su manipuliavimu), egzoskeletiniai kostiumai fiksuoja viso kūno kinematiką didesniu nei 100 Hz diskretizavimo dažniu. „AgiBot“ naudoja egzoskeletu pagrįstą metodą humanoidų manipuliavimo duomenims rinkti savo „AgiBot World“ duomenų rinkiniui. „Fourier GR-1“ nuotolinė operacija panašiai remiasi nešiojamu fiksavimo įrenginiu, pritaikytu prie roboto sąnarių konfigūracijos.

Figūra ir didelio masto komerciniai laivynai

„Figure AI“ valdo patentuotą teleoptinių įrenginių parką visoje BMW gamybos dislokacijoje. Duomenų smagračio modelis, kuriame kiekvienas dislokuotas robotas renka naujus epizodus, kurie grįžta į mokymą, taip pat yra esminis „Tesla Optimus“ plėtros strategijos elementas. Šios uždaros kilpos sistemos kaupia pramoninius duomenis tokiu greičiu, kokio negali pasiekti atviri akademiniai duomenų rinkiniai.

Teleoperacijų platformų palyginimas

Pastaba: našumo skaičiai yra apytiksliai intervalai, gauti remiantis paskelbtais tyrimais ir tyrėjų ataskaitomis. Individualūs operatoriaus įgūdžiai ir užduoties sudėtingumas daro didelę įtaką rezultatams.

Viešieji duomenų rinkiniai: „Open X-Embodiment“, DROID, „BridgeData“, „RoboSet“, RH20T, „AgiBot World“

Atvirų duomenų rinkinių ekosistema sparčiai plėtėsi nuo 2022 m. Žemiau pateikiama dažniausiai cituojamų kolekcijų apžvalga 2026 m. pradžioje.

Atviras X-įkūnijimas (OXE) ir RT-X

„OXE“, kurį surinko „Google DeepMind“ kartu su 33 prisidedančiomis institucijomis, apjungia daugiau nei 1 milijoną epizodų, apimančių daugiau nei 22 robotų tipus. Susiję RT-X modeliai parodė, kad mokymas naudojant sujungtus skirtingų įkūnijimų duomenis apibendrinimo lyginamuosiuose testuose pranoksta vieno įkūnijimo bazinius rodiklius. OXE leidžiamas pagal CC-BY ir Apache 2.0 licencijų derinį, priklausomai nuo prisidedančios institucijos. Prieiga teikiama per RT-X svetainę ir „HuggingFace“.

Droid

DROID (paskirstytųjų robotų sąveikos duomenų rinkinys) buvo surinktas 13 Šiaurės Amerikos tyrimų laboratorijų, naudojant standartizuotą „Franka Panda“ sistemą su ALOHA stiliaus nuotolinio valdymo sąsaja. Jame yra maždaug 76 000 įvairių buitinių ir stalinių manipuliavimo užduočių epizodų. Standartizuota aparatinė įranga įvairiose laboratorijose daro DROID vienu iš švariausių didelio masto manipuliavimo duomenų rinkinių elgesio klonavimui ir RLHF eksperimentams.

BridgeData V2

„BridgeData V2“, sukurta Kalifornijos universiteto Berklyje ir Stanforde, apima maždaug 60 000 demonstracijų, skirtų įvairioms stalo manipuliavimo užduotims. Programa naudoja „WidowX“ rankeną ir pasižymi užduočių įvairove (daugiau nei 70 skirtingų užduočių kategorijų), todėl ji yra įprastas VLA modelių tikslinimo pagrindas. Išleista pagal CC-BY 4.0 licenciją.

RoboSet

„RoboSet“ iš IIT Delhi ir bendradarbių teikia daugiafunkcinius virtuvės manipuliavimo duomenis, surinktus naudojant „Franka Panda“. Į duomenis įtraukti RGB-D stebėjimai ir kalbos anotacijos kiekvienam epizodui. „RoboSet“ yra specialiai sukurtas palaikyti kalbos sąlygojamą politikos vertinimą, todėl yra naudingas testuojant instrukcijomis pagrįstą apibendrinimą.

RH20T

RH20T (Robot-Human 20 Tasks) yra didelio masto kontaktais praturtintas manipuliavimo duomenų rinkinys, apimantis sinchronizuotus robotų propriorecepcijos, RGB vaizdo, gylio, lytėjimo ir garso srautus. Dėl daugiarūšės įvairovės RH20T yra puikus šaltinis tyrėjams, dirbantiems su politikos kryptimis, kurioms reikalingas kontakto jutimas, o ne tik vizualinis stebėjimas.

AgiBot pasaulis

„AgiBot World“ yra humanoidų manipuliavimo duomenų rinkinys, kurį sukūrė Kinijos robotikos bendrovė „AgiBot“, naudodama savo egzoskeleto pagrindu veikiančią duomenų rinkimo sistemą. Jis orientuotas į viso kūno humanoidų manipuliavimo užduotis ir yra vienas pirmųjų didelio masto duomenų rinkinių, specialiai skirtų humanoidų formos veiksniams pramoniniu mastu. „AgiBot World“ galima naudoti pagal atvirąją tyrimų licenciją nekomerciniam naudojimui.

Viešojo įkūnyto dirbtinio intelekto duomenų rinkinio nuoroda

Epizodų skaičius ir licencijų sąlygos paimtos iš duomenų rinkinių dokumentų ir oficialių saugyklų (2026 m. pradžios duomenys). Prieš naudodami patikrinkite dabartines sąlygas.

„Sim-to-Real“ stekas: Isaac Sim, „MuJoCo“, „Cosmos“ ir domenų atsitiktinės atrankos metodas

Modeliavimas keičia duomenų generavimo mastą. Praktinis klausimas yra, kurį modeliuoklį naudoti ir kaip panaikinti atotrūkį nuo fizinės įrangos.

MuJoCo

„MuJoCo“ (daugialypis sąnarinis dinaminis ryšys su kontaktu) išlieka standartu kontaktų reikalaujančių manipuliacijų tyrimuose. Jo fizikos variklis tvarko standaus kūno dinamiką, minkštus kontaktus ir sausgyslių aktyvuojamas sistemas tokiu skaičiavimo efektyvumu, kuris leidžia atlikti tūkstančius lygiagrečių mokymo epizodų viename GPU klasteryje. Atvirojo kodo versija, išleista „Google DeepMind“ platformoje 2022 m., žymiai paspartino jos diegimą. Dauguma akademinio elgesio klonavimo ir RLHF lyginamųjų testų naudoja „MuJoCo“ aplinkas.

NVIDIA Isaac Sim ir Isaac Lab

„Isaac Sim“ veikia „NVIDIA“ „Omniverse“ platformoje ir teikia GPU spartinamą fiziką su didelio tikslumo vaizdavimu. „Isaac Lab“ (anksčiau „OmniIsaacGymEnvs“) yra sustiprinto mokymosi sistema, sukurta „Isaac Sim“ pagrindu, optimizuota masiniam lygiagrečiam politikų mokymui. Pagrindinis privalumas yra fotorealistinis vaizdavimas: „Isaac Sim“ kelio atsekami vaizdai sumažina vaizdinės srities atotrūkį, palyginti su supaprastintais „MuJoCo“ vaizdavimo įrankiais, o tai svarbu mokant regėjimu pagrįstas politikas.

NVIDIA Cosmos

„Cosmos“ yra „NVIDIA“ pasaulinė pamatinių modelių platforma, paskelbta 2024 m. pabaigoje. Užuot simuliavusi fiziką nuo pirmųjų principų, „Cosmos“ generuoja fotorealistinius robotų ir objektų sąveikos vaizdo įrašus iš teksto ar vaizdo raginimų, apmokytų dideliuose vaizdo įrašų duomenų rinkiniuose. Pažadas yra generuoti sintetinius mokymo duomenis, kurie atrodo pakankamai realūs, kad panaikintų vizualinį simuliacijos ir realybės atotrūkį be rankomis sukurto domenų atsitiktinės atrankos. Nuo 2026 m. pradžios kelios robotų mokymosi laboratorijos tyrinėja „Cosmos“ kaip duomenų papildymo sluoksnį, papildantį realias demonstracijas.

Gauso purslų ir scenos rekonstrukcija

3D Gauso skaldymo technologija per kelias minutes, o ne valandas, rekonstruoja fotorealistines scenas iš nedidelio RGB vaizdų rinkinio. Robotų mokymo srityje tai reiškia, kad laboratorija gali nuskaityti naują darbo aplinką, rekonstruoti Gauso sceną ir generuoti naujus požiūrio taškus arba objektų konfigūracijas duomenų papildymui, visiškai nereikalaujant fizikos simuliatoriaus. Šis metodas integruojamas į kelis simuliacinio-realaus konvertavimo kanalus kaip nebrangi vizualinės srities atsitiktinės atrankos priemonė.

Domenų atsitiktinė atranka ir sistemos identifikavimas

Domenų atsitiktinės atrankos metu modeliavimo parametrai (objektų tekstūros, apšvietimo sąlygos, trinties koeficientai, roboto jungčių standumas) yra atsitiktinai suskirstomi mokymo metu, todėl politika yra atspari pokyčiams, o ne pritaikyta vienai modeliuojamai konfigūracijai. Sistemos identifikavimas taiko papildomą metodą: tiksliai išmatuoja realaus roboto fizinius parametrus (masę, inerciją, jungčių lankstumą) ir naudoja šias vertes modeliavime, kad sumažintų skirtumą prieš atsitiktinę atranką.

Mokymosi programoje atsitiktinumas taikomas palaipsniui. Politika pirmiausia mokoma siauroje, aiškioje simuliacijoje, o tada, gerėjant našumui, palaipsniui susiduria su didesniu kintamumu. Toks etapais suskirstytas metodas dažnai konverguoja greičiau nei visiško atsitiktinumo taikymas nuo pat pradžių.

Duomenų kokybės ir kiekybės kompromisai

Daugiau duomenų nebūtinai reiškia geriau. Duomenų rinkinio sudėtis lemia, ką gali ir ko negali padaryti apmokyta politika.

Kai tikslas yra universali politika, užduočių įvairovė yra svarbesnė nei epizodų skaičius. 100 000 tos pačios „parink ir padėk“ užduoties epizodų duomenų rinkinys sukuria specialistą. 10 000 epizodų, paskirstytų 50 užduočių tipų, duomenų rinkinys gali sukurti politiką, kuri po kelių tikslinimo etapų perkeliama į naujas užduotis.

Įkūnijimų įvairovė yra svarbi perdavimui tarp robotų. OXE vertė yra būtent ta, kad ji apima rankų tipus, mobilias platformas ir miklias rankas. Politika, iš anksto apmokyta OXE ir tiksliai suderinta naujame robote, paprastai pranoksta tą, kuri apmokyta nuo nulio naudojant tik to paties naujo roboto duomenis, o šis rezultatas atitinka kelis paskelbtus tyrimus.

Epizodo trukmė ir gedimų šalinimas yra nepakankamai įvertinami. Duomenų rinkiniai, kuriuos renka kvalifikuoti nuotolinio valdymo specialistai, kurie retai patiria gedimų, sukuria strategijas, kurios nežino, kaip atkurti duomenis po trikdžių. Sąmoningas gedimų būsenų įvedimas ir atkūrimo demonstravimas žymiai pagerina atsparumą realiame pasaulyje. Kai kurios laboratorijos nuotolinio valdymo sesijų metu naudoja priešiškus trikdžius šiems duomenims generuoti.

Remiantis pramonės stebėjimais, gautais iš kelių robotų mokymosi laboratorijų ataskaitų 2024–2025 m., papildomų epizodų ribinė vertė smarkiai sumažėja, kai duomenų rinkinys apima užduotį maždaug 500–1,000 demonstracijų, o naujų užduočių tipų ribinė vertė išlieka didelė iki tūkstančių skirtingų užduočių. EVST atsižvelgia į tai struktūrizuodamas bandomųjų duomenų rinkimo langelius, teikdamas pirmenybę užduočių apimčiai, o ne pasikartojančiam epizodų kaupimui.

Pramoninės klasės duomenų aspektai

Gamyklinių duomenų rinkimas kelia reikalavimus, kurių akademinės nuotolinio darbo sistemos paprastai neatlieka.

Deterministinis registravimas yra pirmasis reikalavimas. Gamybos langelyje jungtinio kodavimo įrenginio rodmens laiko žyma turi būti atsekama iki sieninio laikrodžio etalono su mažesniu milisekundės tikslumu. „EtherCAT“ 1 kHz lauko magistralės valdymas, standartinis pramoniniuose robotuose (įskaitant EVST serijos robotus), suteikia deterministinį laiko nustatymo pagrindą, kuris leidžia lengvai valdyti kelių jutiklių sinchronizavimą. 1 kHz dažniu veikianti sistema generuoja 1,000 jungties būsenos pavyzdžių per sekundę kiekvienai ašiai; norint suderinti šį srautą su kameros kadrais 30–60 kadrų per sekundę greičiu ir jėgos bei sukimo momento duomenimis 500 Hz dažniu, reikia disciplinuotos aparatinės įrangos laiko žymėjimo architektūros, o ne programinės įrangos buferizavimo.

Saugos etiketės reikalingos, kai įvyksta vos neįvykę įvykiai, avarinio stabdymo aktyvavimai arba jėgos ribų pažeidimai. Šios etiketės būtinos tiek atitikčiai, tiek mokymo politikai, kuri supranta su sauga susijusias būsenas. Pramoniniai valdikliai, kurie registruoja avarinio stabdymo priežastis ir jungtinio sukimo momento viršijimus aparatinės įrangos lygmeniu, leidžia šį ženklinimą atlikti lengvai.

Ciklo laiko anotacija susieja robotų epizodus su gamybos rezultatais. Žinant, kad 4,712 epizodas surinkimo užduotį atliko per 8.3 sekundės be jokių kokybės rodiklių, roboto mokymosi duomenys susiejami su MES sistema ir leidžia pasirinkti aukštos kokybės demonstracijas mokymui.

Su MES susieti metaduomenys yra tiltas. Kai roboto duomenų registravimo sistema įrašo epizodų failus su pridėtais MES užduočių ID, detalių tipais ir kokybės rezultatais, gautą duomenų rinkinį galima filtruoti programiškai. Su pakartotiniu apdorojimu, brokavimu ar operatoriaus pakeitimais susijusius epizodus galima neįtraukti arba laikyti gedimų demonstracijomis.

Praktiškai, modifikuojant bandomąją kamerą duomenų rinkimui, dažniausia kliūtis yra ne roboto registravimo galimybės, o kameros tinklo architektūra. Pramoniniai Ethernet segmentai, kurie buvo sukurti PLC ir roboto ryšiui mažesniu nei kHz dažniu, ne visada yra pritaikyti nepertraukiamo kelių kamerų vaizdo ir propriorecepcijos srautų pralaidumui. Ląstelė, kurioje veikia dvi 1080p kameros 30 kadrų per sekundę greičiu, šešių ašių jėgos duomenys ir jungčių būsenos, generuoja maždaug 150–300 MB per minutę neapdorotų epizodų duomenų. Saugojimo ir tinklo infrastruktūros planavimas prieš diegimą leidžia išvengti modifikavimo išlaidų vėliau.

Vamzdynų ir įrankių ženklinimas

Neapdoroti epizodų įrašai nėra paruošti mokymui. Jiems reikia kalbos anotacijų, objektų segmentavimo kaukių ir kai kuriais atvejais apdovanojimų etikečių.

Kalbos anotacija

Kalbos sąlygojamiems VLA modeliams reikalingas natūralios kalbos kiekvieno epizodo užduoties aprašymas. Mažiems duomenų rinkiniams tai atliekama rankiniu būdu; duomenų rinkiniams, kuriuose yra daugiau nei 10 000 epizodų, būtinas automatinis anotavimas naudojant vizualinės kalbos modelius (GPT-4V, Gemini arba specializuotus subtitrų modelius). Kokybės kontrolė reikalauja, kad žmogus peržiūrėtų imtį, kad būtų nustatytos sisteminės automatinio anotavimo priemonės klaidos.

Objektų segmentavimas ir sekimas

Politikos, kurios samprotauja apie objektų būseną, naudoja segmentavimo kaukes kiekvienam epizodui, identifikuojančias manipuliuojamus objektus. „Meta“ sukurtas „Segment Anything Model“ (SAM 2) leidžia interaktyvų segmentavimą valdyti duomenų rinkinio mastu, sutrumpinant anotavimo laiką nuo valandų iki minučių kiekvienam epizodui, kai jis derinamas su sekimo sklidimu.

Atlygio formavimas RLHF

Kai epizoduose yra ir sėkmės, ir nesėkmės demonstracijų, atlygio žymėjimas leidžia tiksliai derinti sustiprintą mokymąsi iš žmonių grįžtamojo ryšio (RLHF). Žmonių komentatoriai reitinguoja epizodo rezultatus, o šie pageidavimai apmoko atlygio modelį, kuris formuoja politikos atnaujinimus. Šis srautas naudojamas kuriant „Physical Intelligence“ „pi0“ ir yra tiriamas pramoninių užduočių mokymui, kur dvejetainės sėkmės / nesėkmės žymos jau yra prieinamos iš MES.

Privatumas, IP ir duomenų rinkinių licencijavimas

Įnašai į atvirus duomenų rinkinius kelia intelektinės nuosavybės klausimus, kuriuos pramonės originalios įrangos gamintojai (OEM) turi išspręsti prieš dalyvaudami.

Pagrindinės naudojamos licencijų kategorijos yra CC-BY (būtina nurodyti autoriaus vardą, leidžiamas komercinis naudojimas), CC-BY-NC (tik nekomercinis naudojimas) ir Apache 2.0 (leidžianti, įskaitant komercinį naudojimą ir modelio svorio perskirstymą). Nuosavybės teise saugomi duomenų rinkiniai („Tesla Optimus“, „Figure's“ automobilių parko duomenys, „Boston Dynamics“) nėra bendrinami išoriškai.

Gamyklų originalios įrangos gamintojams (OEM) intelektinės nuosavybės problema yra proceso atskleidimas: epizodas, kuriame rodoma konkreti fiksavimo konfigūracija, įrankio kelias ar tvirtinimo detalių konstrukcija, gali atskleisti patentuotus gamybos metodus. Standartinis šios problemos sprendimas – pašalinti vizualinį kontekstą iki galinio efektoriaus lygio, pateikti tik jungčių trajektorijų srautus (be kameros duomenų) arba naudoti sintetinius manipuliavimo trajektorijos atvaizdavimus bendrame fone. Keletas naujų konsorciumų modelių siūlo teisines sistemas anonimizuotų pramoninių duomenų pateikimui pagal abipusius neatskleidimo susitarimus kartu su „Apache 2.0“ duomenų licencijomis.

Remiantis Stanfordo universiteto CRFM ir bendradarbių atlikta 2024 m. robotų mokymosi apklausos analize, nuosavybės teise saugomi duomenų silosai yra didžiausia struktūrinė kliūtis įkūnyto dirbtinio intelekto pažangai, viršijančiai dabartinius standartus. Pramonės originalios įrangos gamintojai (OEM), kurie dabar kuria vidines duomenų valdymo sistemas, bus pasirengę dalyvauti duomenų rinkinių konsorciumuose, kai šios programos bus įformintos per ateinančius 18–24 mėnesius.

Kaip gamyklų originalios įrangos gamintojai (OEM) gali teikti duomenis

Pramoninės automatikos tiekėjai (įskaitant FANUC, ABB, KUKA ir sertifikuotus „iki rakto“ integratorius, tokius kaip EVST) yra robotų įrangos ir realių gamybos aplinkų sankirtoje. Dėl šios padėties jie natūraliai prisideda prie įkūnytos dirbtinio intelekto duomenų ekosistemos, jei yra sukurta veiklos ir teisinė sistema.

Bandomosios ląstelės su teleoperacijos perdanga

Labiausiai prieinamas įėjimo taškas yra bandomoji celė, kurioje gamybos robotas aprūpintas nuotolinio valdymo sistema: lyderio ir sekėjo ranka, kurią operatorius naudoja gamybos užduoties variantams demonstruoti. Šios demonstracijos atliekamos nedideliu kiekiu (50–500 epizodų) ir jų pakanka iš anksto apmokyto VLA modelio tiksliam pritaikymui konkrečiai gamybos užduočiai. Bandomosios celės metodas nereikalauja keisti gamybos celės saugos sertifikato, nes nuotolinio valdymo sistema veikia kaip roboto valdiklio įvesties įrenginys, o ne kaip lygiagretus valdymo kelias.

Gamybos robotų modifikavimo registravimas

Esamus gamybos robotus galima modifikuoti lengvais registravimo moduliais, kurie EtherCAT greičiu registruoja jungties būseną, galinio efektoriaus padėtį ir griebtuvo jėgą, gamybos metu įrašydami laiko žyma pažymėtus epizodų failus į periferinį serverį. Tam nereikia keisti roboto valdymo programos. Registruoti duomenys fiksuoja realų gamybos manipuliavimo elgesį, kuris labiau atspindi užduotį nei demonstracijos laboratorinėmis sąlygomis. EVST pramoniniai valdikliai, veikiantys 1 kHz EtherCAT ciklo laiku ir sertifikuoti pagal CE/SGS/TUV standartus, užtikrina deterministinę laiko architektūrą, kuria remiasi šis registravimo metodas. Duomenis galima išvalyti, anonimizuoti ir formatuoti standartinėms robotų mokymosi sistemoms be brangaus pakartotinio integravimo darbo.

Dalyvavimas anonimizuotų duomenų rinkinių programoje

Naujos OEM duomenų rinkinių programos (įskaitant „AgiBot World“ atvirojo įnašo programą ir keletą konsorciumo diskusijų ICRA 2025) priima anonimizuotus pramoninio manipuliavimo duomenis. OEM, turintys IATF16949 sertifikatą, pavyzdžiui, EVST, taiko esamus kokybės valdymo procesus, kurie gerai atitinka šių programų nurodytus metaduomenų vientisumo reikalavimus: atsekamus laiko žymas, dokumentuotus rinkimo protokolus ir patvirtintus jutiklių kalibravimo įrašus.

Pasaulinė lauko aprėptis kaip duomenų pranašumas

Originalios įrangos gamintojas (OĮG), turintis lauko inžinierių daugiau nei 100 šalių, gali rinkti įkūnyto dirbtinio intelekto mokymo duomenis iš išties skirtingų gamybos aplinkų (skirtingos ruošinių geometrijos, aplinkos sąlygos, operatorių demografiniai duomenys ir procesų variantai). Ši geografinė įvairovė yra vertinga, nes pagal ją apmokytos politikos yra geriau apibendrinamos nei tos, kurios apmokytos remiantis duomenimis iš vienos laboratorijos ar įstaigos. EVST sprogimui atsparūs sertifikuoti robotai ir plataus diapazono 3–800 kg asortimentas reiškia, kad duomenų rinkimas gali būti išplėstas iki tokių aplinkų kaip cheminių medžiagų apdorojimas, pavojingų medžiagų tvarkymas ir gamyba ekstremaliose temperatūrose, kurių dauguma akademinių duomenų rinkinių visiškai neapima.

Pagrindiniai pramonės duomenų taškai

Remiantis Tarptautinės robotikos federacijos (IFR) 2024 m. „World Robotics 2024“ ataskaita, 2023 m. visame pasaulyje veikė daugiau nei 3.9 mln. pramoninių robotų, tačiau didžiausi atviri robotų manipuliavimo duomenų rinkiniai kartu sudaro mažiau nei 2 mln. epizodų, o tai iliustruoja masto skirtumą tarp naudojamos aparatinės įrangos ir turimų mokymo duomenų. EVST šią problemą sprendžia tyrinėdama modifikavimo registravimo architektūras, kurios gamybos robotų parkus paverčia pasyviais duomenų rinkimo ištekliais.

Remiantis „Open X-Embodiment“ straipsniu (Padalkar ir kt., „Google DeepMind“ ir kt., 2023 m.), modeliai, apmokyti naudojant daugiau nei 22 robotų tipų skirtingų įkūnijimų duomenis, parodė išmatuojamai geresnį apibendrinimą atliekant atliktas užduotis nei modeliai, apmokyti naudojant tik vieno įkūnijimo duomenis. EVST šią problemą sprendžia struktūrizuodama savo vidinę duomenų vertinimo sistemą taip, kad vertinant duomenų rinkinio naudingumą gamybos linijos tikslinimo vertinimams būtų atsižvelgiama į įkūnijimų įvairovę ir epizodų skaičių.

Remiantis 2024–2025 m. atliktais kelių robotų mokymosi laboratorijų pramonės stebėjimais, vizualinio simuliacinio ir realaus vaizdo atotrūkis sudaro daugumą politikos nesėkmės atvejų manipuliavimo užduotyse, kuriose dalyvauja veidrodiniai arba skaidrūs objektai, kurių standartiniai domenų atsitiktinės atrankos metodai patikimai neapima. EVST šią problemą sprendžia stebėdama fotorealistinius modeliavimo įrankius (konkrečiai, „NVIDIA Cosmos“ ir „Gaussian Splatting“ srautus) kaip potencialius papildymo sluoksnius savo dirbtiniu intelektu patobulintam judesių planavimo planui.

Susiję vadovai

• Įkūnytas dirbtinis intelektas ir VLA modeliai pramoninėje robotikoje: ką gamyklų inžinieriai turi žinotiAptariama regėjimo-kalbos-veiksmo modelių architektūra ir jų diegimo apribojimai gamybinėje įrangoje.
• Humanoidiniai robotai pramoninėje gamyboje 2026 m.Nagrinėjama, kurias užduotis iš tiesų gali atlikti humanoidinės platformos, o ne įprasti pramoniniai ginklai.
• Humanoidiniai robotai ir pramoniniai robotų rankos gamykloms 2026 m.Tiesioginis dviejų formų veiksnių galimybių, kainos ir integravimo sudėtingumo palyginimas.
• Išsamus bendradarbiaujančių robotų vadovas: tipai, pasirinkimas ir taikymas 2026 m.Pagrindinis bendradarbiaujančių robotų pasirinkimo vadovas, atsižvelgiant į naudingosios apkrovos, taikymo ir aplinkos reikalavimus.

Dažnai užduodami klausimai

Kodėl įkūnyto dirbtinio intelekto duomenis rinkti sunkiau nei kalbos modelių duomenis?

Kalbos modeliai mokomi remiantis tekstu, kuris jau egzistuoja internete milžinišku mastu. Įkūnyti dirbtinio intelekto robotai turi rinkti su veiksmais susietus sensorinius duomenis: sinchronizuotus sąnarių kampus, griebtuvo jėgas, kameros kadrus ir užduoties kontekstą, visa tai įrašoma fizinio manipuliavimo metu. Šių duomenų nėra žiniatinklio mastu ir juos brangu generuoti. Kiekvienam nuotoliniu būdu valdomam epizodui paprastai reikia 1–10 minučių kvalifikuoto operatoriaus laiko, kad būtų sukurta viena mokymo trajektorija, o kokybė suprastėja, jei operatorius nėra susipažinęs su roboto dinamika.

Kuo skiriasi simuliacinis-realinis perkėlimas ir domenų atsitiktinės atrankos metodas robotų mokyme?

Platesnis tikslas yra perkelti politiką iš simuliacijos į realų pasaulį: apmokyti politiką modeliavime ir įdiegti ją fiziniame robote nesumažinant našumo. Domeno atsitiktinumas yra vienas iš būdų šiam tikslui pasiekti. Mokymo metu atsitiktinai keičiami modeliavimo parametrai – apšvietimas, tekstūros, trinties koeficientai, objektų masės, kad politika išmoktų valdyti realaus pasaulio variacijas, o ne prisitaikyti prie vienos modeliuojamos išvaizdos. Kiti metodai apima domeno adaptaciją, fotorealistinį vaizdavimą (kaip NVIDIA Cosmos) ir sistemos identifikavimą.

Kas yra „Open X-Embodiment“ ir kiek robotų tipų jis apima?

„Open X-Embodiment“ yra didelio masto atviro tipo robotų mokymosi duomenų rinkinys, kurį surinko „Google DeepMind“ kartu su 33 prisidedančiomis tyrimų institucijomis. Jame apjungiama daugiau nei 1 milijonas robotų epizodų, apimančių daugiau nei 22 robotų įkūnijimus – vienos rankos manipuliatorius, dvirankius įrenginius, mobilias bazes ir miklias rankas. OXE aplinkoje apmokyti RT-X modeliai parodė, kad skirtingų įkūnijimų mokymas pagerina politikos apibendrinimą, palyginti su vieno įkūnijimo baziniais lygiais.

Kaip gamyklos originalios įrangos gamintojas (OEM) gali prisidėti prie robotų duomenų įkūnyto dirbtinio intelekto mokymo srityje neatskleisdamas nuosavybės teise saugomos procesų intelektinės nuosavybės?

Praktiškiausias būdas yra nuasmenintas epizodų pateikimas: pašalinti procesą identifikuojančius metaduomenis (detalių numerius, klientų nuorodas, ciklo trukmės tikslus) ir pateikti tik jungtinės trajektorijos ir griebtuvo būsenos srautus. Kelios duomenų rinkimo programos, įskaitant „AgiBot World“ ir kylančias OEM konsorciumų iniciatyvas, priima nuasmenintus pramoninio manipuliavimo duomenis pagal „Apache 2.0“ arba CC-BY licenciją. Registravimo infrastruktūra su deterministiniais „EtherCAT“ laiko žymomis užtikrina, kad epizodų kokybė atitiktų duomenų rinkinių priėmimo standartus.

Kokia nuotolinio valdymo duomenų rinkimo sistema geriausiai tinka pramoninio manipuliavimo užduotims?

Pramoniniam manipuliavimui pagrindinės galimybės yra ALOHA 2 (dvirankės lyderio ir sekėjo rankos, nebrangios, atvirojo kodo), UMI (tvirtinamos ant riešo, atskirtos nuo roboto, labai nešiojamos) ir egzoskeleto pagrindu veikiantis fiksavimas didesnės naudingosios apkrovos arba viso kūno užduotims. VR platformos, naudojančios „Apple Vision Pro“ arba „Meta Quest 3“, populiarėja dėl intuityvaus dvirankio fiksavimo, tačiau joms reikia perorientuoti kanalus, kad žmogaus rankos kinematika būtų perkelta į roboto sąnarių erdvę. Teisingas pasirinkimas priklauso nuo tikslinio roboto laisvės laipsnių, naudingosios apkrovos ir to, ar užduočiai atlikti reikalingos dvi rankos.

Paskutinį kartą atnaujinta: balandžio 23, 2026

Žr mūsų Įkūnyti dirbtinio intelekto sprendimai →