Pēdējoreiz atjaunināts: 23, 2026. Aprīlis

Datu vākšana iemiesotajam mākslīgajam intelektam: teleoperācijas, simulācijas-reālā modeļa un rūpnieciskās datu kopas 2026. gadā

Iemiesotā mākslīgā intelekta vājā vieta ir dati, nevis skaitļošanas iespējas. Robota politikas apmācībai ir nepieciešamas sinhronizētas darbības stāvokļa plūsmas, kas interneta mērogā vienkārši nepastāv. Pašlaik šo pieprasījumu apmierina trīs avoti. Cilvēka teleoperācija nodrošina augstas kvalitātes demonstrācijas uz operatora laika rēķina. Pārsūtīšana no simulācijas uz reālo vidi palielina epizožu skaitu, bet rada precizitātes plaisu. Lielas atvērtas datu kopas apvieno ieguldījumu no desmitiem laboratoriju un platformu.

Kāpēc dati ir iemiesota mākslīgā intelekta šķēršļi

Aprēķini ir sekojuši paredzamai mērogošanas līknei. Mūsdienās ir komerciāli pieejami GPU klasteri, kas spēj apmācīt miljardu parametru redzes-valodas-darbības (VLA) modeļus. Kas nav mērogots, ir dati, kas šiem modeļiem nepieciešami: savienoti novērojumi un darbības, kas reģistrētas fiziskas robota manipulācijas laikā, ar pietiekamu uzdevumu un iemiesojumu daudzveidību, lai izveidotu vispārināmas politikas.

Valodas modelis var uzņemt triljonu žetonu no tīmekļa dažu nedēļu laikā. Robotu manipulāciju datu kopa ir jāģenerē epizode pēc epizodes, un katrai no tām ir nepieciešams fizisks robots, reāla vai simulēta vide, uzdevuma definīcija un vai nu cilvēks-operators, vai arī skriptēta demonstrācija. Starptautiskā Robotikas federācija (IFR) lēš, ka 2024. gadā visā pasaulē darbojās vairāk nekā 3.9 miljoni rūpniecisko robotu, tomēr lielākās atvērtās manipulāciju datu kopas satur aptuveni vienu miljonu epizožu. Šī plaisa nemazinās tik ātri.

Problēma saasinās, ja ņem vērā iemiesojuma plaisu: politika, kas apmācīta uz 6 brīvības robežām aprīkota vienas rokas manipulatora, netiek tīri pārnesta uz divmanuālu humanoīdu vai mobilo bāzi ar roku. Katrs jauns robota formas faktors efektīvi atiestata datu prasības. Darbību sadalīšanas fragmentos pieejas (kur politika izvada daudzpakāpju darbību secības, nevis atsevišķus soļus) samazina secinājumu latentumu, bet nemazina nepieciešamību pēc daudzveidīga apmācības pārklājuma.

Saskaņā ar Open X-Embodiment rakstu (Padalkar et al., 2023, Google DeepMind et al.), dažādu iemiesojumu apmācība, izmantojot dažādus robotu datus, var uzlabot politikas vispārināšanu, pārsniedzot to, ko nodrošina viena iemiesojuma datu kopas. EVST to risina, novērtējot dažādu iemiesojumu datu kopu kvalitāti kā daļu no sava iekšējā novērtēšanas procesa, izvēloties ar mākslīgo intelektu papildinātu kustību plānošanu pilna diapazona 3–800 kg robotu klāstam. Šīs datu stratēģijas aparatūras pusi skatiet sadaļā EVST iemiesoti mākslīgā intelekta risinājumi, tostarp humanoīdus robotus, veiklas datu vākšanas rokas, četrkājainus robotus un pilotplatformas iemiesota mākslīgā intelekta izstrādei.

Trīs galvenie datu avoti: stiprās puses un ierobežojumi

Teleoperācija

Teleoperācijas tehnoloģija nodrošina eksperta līmeņa demonstrācijas uz mērķa robota aparatūras. Operators vada robotu attālināti, izmantojot līdera-sekotāja rokas, VR austiņas, eksoskeleta tērpus vai rokas saskarnes, savukārt sistēma sinhroni reģistrē katru locītavas leņķi, satvērēja stāvokli, spēka nolasījumu un kameras kadru. Tā kā dati nāk no cilvēka, kurš veic faktisko uzdevumu uz faktiskā robota, darbības un stāvokļa atbilstība ir precīza, un iemiesojuma atšķirība ir nulle.

Ierobežojums ir caurlaidspēja. Prasmīgi teleoperatori ģenerē aptuveni 5–50 epizodes stundā atkarībā no uzdevuma sarežģītības, un datu kvalitāte pasliktinās, kad operatori nogurst. Teleoperācijas arī netiek mērogotas līdz kļūmju novēršanai bez apzinātas protokola izstrādes: ja operatoriem vienmēr izdodas, politika nekad neiemācās atgūties no traucējumiem.

Pārsūtīšana no simulatora uz reālu vidi

Fizikas simulatori (MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet) ļauj pētniekiem ģenerēt miljoniem robotu epizožu ar gandrīz nulles robežizmaksām. Viens GPU klasteris var vienas nakts laikā palaist tūkstošiem paralēlu simulācijas gadījumu. Izmaksas parādās izvietošanas laikā: simulācijā apmācītas politikas bieži vien neizdodas, saskaroties ar reālās pasaules kontakta dinamiku, sensoru troksni un vizuālajām variācijām, ko simulators nav precīzi atkārtojis. Šīs simulācijas un reālās vides atšķirības novēršana ir aktīva pētniecības joma.

Interneta video un pasīvā novērošana

Lieli redzes valodas modeļi, kas iepriekš apmācīti interneta video, sniedz vispārēju ainas izpratni, kas palīdz veikt uzdevumu iezemēšanu. Fiziskās intelekta pi0 arhitektūra un līdzīgi VLA modeļi izmanto video iepriekšēju apmācību, lai pirms robotu demonstrāciju precizēšanas sāktu manipulācijas prasmes. Ierobežojums ir tāds, ka video nenodrošina darbību etiķetes: video rāda roku, kas satver objektu, bet neieraksta pielietoto spēku vai līdzvērtīgas robota rokas locītavu leņķus. Apgrieztās dinamikas modeļi var daļēji secināt darbības no video, bet iegūtās pseido etiķetes satur troksni.

Teleoperācijas aparatūra un protokoli

Teleoperācijas saskarnes izvēle ietekmē gan datu kvalitāti, gan datu vākšanas caurlaidspēju. Zemāk ir uzskaitītas sistēmas, kas ir visaktīvākās 2025.–2026. gada pētniecības un komerciālajās programmās.

Vadītāja-sekotāja rokas: ALOHA un mobilā ALOHA

ALOHA (zemas cenas, atvērtā koda aparatūras sistēma divroku teleoperācijai) tika izstrādāta Stenfordas universitātē un izmanto divas lētas vadošās rokas, kuras operators pārvieto ar roku, savukārt divas saskaņotas sekotājas rokas uz robota atkārto kustību reāllaikā. Divroku dizains aptver divroku uzdevumus, ko vienas rokas sistēmas nevar veikt. Mobilā ALOHA paplašina platformu uz mobilas bāzes. ALOHA 2, kas tika izlaista 2024. gadā, uzlaboja locītavu izsekošanas precizitāti un operatora ergonomiku. Aparatūras izmaksas vadošā-sekotāja pārim ir mazākas par 20 000 ASV dolāru, kas ir veicinājis ieviešanu desmitiem akadēmisko laboratoriju.

Uz plaukstas locītavas montējamas saskarnes: UMI

Stenfordas un Kolumbijas Universālā manipulācijas saskarne (UMI) piestiprina zivs acs kameru un kodētāju pie rokas satvērēja. Operators fiziski demonstrē uzdevumu vidē, kamēr satvērējs reģistrē efektora pozu un satvēriena stāvokli. UMI atdala datu vākšanu no robota: demonstrācijas var apkopot laukā un vēlāk pielāgot dažādām robota versijām. Tas padara to īpaši noderīgu manipulācijas datu vākšanai ārpus laboratorijas vides.

VR un uz galvas montējami displeji

Gan Apple Vision Pro, gan Meta Quest 3 tiek pētītas kā teleoperācijas saskarnes. Pievilcība ir divmanuāla sešu brīvības robežu rokas izsekošana ar intuitīvu operatora vadību. Inženiertehniskais izaicinājums ir atkārtota mērķēšana: cilvēka rokas kinemātikai (pieci pirksti, 27 locītavas) ir jāatbilst robota gala efektora komandām (parasti satvērējiem ar 1 brīvības robežu vai veiklām rokām ar 12–16 brīvības robežu). Bez rūpīgas atkārtotas mērķēšanas ierakstītajās demonstrācijās ir ietverts operatora nodoms, bet ne tieši izpildāmas robota darbības.

Eksoskelets un visa ķermeņa uztveršana

Humanoīdu robotiem, kuriem nepieciešami pilna ķermeņa kustības dati (tostarp pārvietošanās apvienojumā ar manipulācijām), eksoskeleta tērpi uztver visa ķermeņa kinemātiku ar paraugu ņemšanas frekvenci virs 100 Hz. AgiBot izmanto uz eksoskeleta balstītu pieeju humanoīdu manipulācijas datu vākšanai savam AgiBot World datu kopumam. Furjē GR-1 teleoperācija līdzīgi balstās uz valkājamu uztveršanas platformu, kas pielāgota robota locītavu konfigurācijai.

Attēls un liela mēroga komerciālās flotes

Mākslīgais intelekts (Figure AI) savā BMW ražošanas izvietojumā pārvalda patentētu teleoptisko parku. Datu spararata modelis, kurā katrs izvietotais robots apkopo jaunas epizodes, kas tiek izmantotas apmācībā, ir arī Tesla Optimus attīstības stratēģijas centrālais elements. Šīs slēgtās cilpas sistēmas uzkrāj rūpnieciskos datus tādā ātrumā, kādu atvērtie akadēmiskie datu kopumi nespēj nodrošināt.

Teleoperācijas platformu salīdzinājums

Piezīme: caurlaidspējas rādītāji ir aptuveni diapazoni, kas iegūti no publicētiem pētījumiem un pētnieku aprakstiem. Individuālā operatora prasmes un uzdevuma sarežģītība būtiski ietekmē rezultātus.

Publiskās datu kopas: Open X-Embodiment, DROID, BridgeData, RoboSet, RH20T, AgiBot World

Atvērto datu kopu ekosistēma kopš 2022. gada ir strauji paplašinājusies. Zemāk ir sniegts pārskats par visvairāk citētajām kolekcijām 2026. gada sākumā.

Atvērtais X-iemiesojums (OXE) un RT-X

OXE, ko izveidojis Google DeepMind kopā ar 33 iesaistītajām iestādēm, apkopo vairāk nekā 1 miljonu epizožu no vairāk nekā 22 robotu veidiem. Saistītie RT-X modeļi parādīja, ka apmācība, izmantojot apkopotus starpiemiesojumu datus, pārspēj viena iemiesojuma bāzes līnijas vispārināšanas etalonos. OXE ir izlaists saskaņā ar CC-BY un Apache 2.0 licenču kombināciju atkarībā no iesaistītās iestādes. Piekļuve ir caur RT-X vietni un HuggingFace.

Droid

DROID (Distributed Robot Interaction Dataset — izkliedēto robotu mijiedarbības datu kopa) tika apkopota 13 Ziemeļamerikas pētniecības laboratorijās, izmantojot standartizētu Franka Panda iestatījumu ar ALOHA stila teleoperācijas saskarni. Tajā ir aptuveni 76 000 dažādu mājsaimniecības un galda virsmas manipulācijas uzdevumu epizožu. Standartizētā aparatūra visās vietnēs padara DROID par vienu no tīrākajiem liela mēroga manipulācijas datu kopumiem uzvedības klonēšanai un RLHF eksperimentiem.

BridgeData V2

BridgeData V2 no Kalifornijas Universitātes Bērklijā un Stenfordas Universitātēm satur aptuveni 60 000 demonstrāciju par dažādiem galda virsmas manipulācijas uzdevumiem. Tajā tiek izmantota WidowX roka, un tā ir ievērojama ar savu uzdevumu daudzveidību (vairāk nekā 70 atšķirīgas uzdevumu kategorijas), kas padara to par izplatītu VLA modeļu precizēšanas bāzi. Izlaists saskaņā ar CC-BY 4.0 licenci.

RoboSet

RoboSet no IIT Delhi un tā līdzstrādniekiem nodrošina daudzfunkcionālus virtuves manipulācijas datus, kas apkopoti ar Franka Panda. Tie ietver RGB-D novērojumus un valodas anotācijas katrai epizodei. RoboSet ir īpaši izstrādāts, lai atbalstītu valodas nosacītas politikas novērtēšanu, padarot to noderīgu instrukciju ievērošanas vispārināšanas testēšanai.

RH20T

RH20T (Robot-Human 20 Tasks — robota un cilvēka 20 uzdevumi) ir liela mēroga, ar kontaktiem bagāts manipulāciju datu kopums, kas ietver sinhronizētu robotu propriocepciju, RGB video, dziļuma, taustes un audio plūsmas. Multimodālā daudzveidība padara RH20T par atsauci pētniekiem, kas strādā pie politikas, kurām nepieciešama kontakta uztveršana, ne tikai vizuāla novērošana.

AgiBot pasaule

AgiBot World ir humanoīdu manipulācijas datu kopa, ko izveidojis Ķīnas robotikas uzņēmums AgiBot, izmantojot savu uz eksoskeletu balstīto datu vākšanas plūsmu. Tā koncentrējas uz pilna ķermeņa humanoīdu manipulācijas uzdevumiem un ir viena no pirmajām liela mēroga datu kopām, kas īpaši paredzētas humanoīdu formas faktoriem rūpnieciskā mērogā. AgiBot World ir pieejama saskaņā ar atvērto pētniecības licenci nekomerciālai lietošanai.

Publiski iemiesota mākslīgā intelekta datu kopas atsauce

Epizožu skaits un licences noteikumi iegūti no datu kopu dokumentiem un oficiālajām krātuvēm, sākot ar 2026. gada sākumu. Pirms lietošanas pārbaudiet pašreizējos noteikumus.

Simulācijas un reālā stila steks: Īzaks Sims, MuJoCo, Cosmos un domēna nejaušināšana

Simulācija mērogo datu ģenerēšanu. Praktiskais jautājums ir, kuru simulatoru izmantot un kā aizpildīt plaisu atpakaļ uz fizisko aparatūru.

MuJoCo

MuJoCo (vairāku locītavu dinamika ar kontaktu) joprojām ir standarts kontaktiem bagātu manipulāciju pētījumos. Tā fizikas dzinējs apstrādā stingra ķermeņa dinamiku, mīkstus kontaktus un cīpslu darbinātas sistēmas ar skaitļošanas efektivitāti, kas ļauj veikt tūkstošiem paralēlu apmācības epizožu vienā GPU klasterī. Atvērtā pirmkoda versija Google DeepMind ietvaros 2022. gadā ievērojami paātrināja ieviešanu. Lielākā daļa akadēmiskās uzvedības klonēšanas un RLHF etalonu izmanto MuJoCo vides.

NVIDIA Isaac Sim un Isaac Lab

Isaac Sim darbojas uz NVIDIA Omniverse platformas un nodrošina GPU paātrinātu fiziku ar augstas precizitātes renderēšanu. Isaac Lab (iepriekš OmniIsaacGymEnvs) ir pastiprināšanas mācīšanās ietvars, kas veidots uz Isaac Sim platformas un ir optimizēts masveidā paralēlai politiku apmācībai. Galvenā priekšrocība ir fotoreālistiska renderēšana: Isaac Sim ceļa izsekošanas vizuālie materiāli samazina vizuālo domēnu atšķirību salīdzinājumā ar MuJoCo vienkāršotajiem renderētājiem, kas ir svarīgi uz redzi balstītu politiku apmācībai.

NVIDIA Cosmos

Cosmos ir NVIDIA pasaules pamatmodeļa platforma, kas tika izziņota 2024. gada beigās. Tā vietā, lai simulētu fiziku pēc pirmajiem principiem, Cosmos ģenerē fotoreālistisku video par robotu un objektu mijiedarbību no teksta vai attēlu uzvednēm, kas apmācītas lielās video datu kopās. Solījums ir ģenerēt sintētiskus apmācības datus, kas izskatās pietiekami reāli, lai aizpildītu vizuālo simulācijas un reālā darba plaisu bez manuāli veidotas domēnu nejaušināšanas. Sākot ar 2026. gada sākumu, Cosmos tiek pētīts vairākās robotu mācību laboratorijās kā datu papildināšanas slāni papildus reālām demonstrācijām.

Gausa šļakatu un ainas rekonstrukcija

3D Gausa izkaisīšanas tehnoloģija rekonstruē fotoreālistiskas ainas no neliela RGB attēlu kopuma dažu minūšu, nevis stundu laikā. Robotu apmācībā tas nozīmē, ka laboratorija var skenēt jaunu darba vidi, rekonstruēt Gausa ainu un ģenerēt jaunus skatupunktus vai objektu konfigurācijas datu papildināšanai, vispār neprasot fizikas simulatoru. Šī pieeja tiek integrēta vairākās simulācijas un reālās vides pārveidošanas sistēmās kā lēts vizuālās domēna nejaušināšanas rīks.

Domēna nejaušināšana un sistēmas identifikācija

Domēna nejaušināšana apmācības laikā nejaušina simulācijas parametrus (objektu tekstūras, apgaismojuma apstākļus, berzes koeficientus, robota locītavu stingrību), piespiežot politiku būt noturīgai pret izmaiņām, nevis pielāgotai vienai simulētai konfigurācijai. Sistēmas identifikācija izmanto papildinošu pieeju: tā precīzi mēra reālā robota fiziskos parametrus (masu, inerci, locītavu elastību) un izmanto šīs vērtības simulācijā, lai samazinātu starpību pirms nejaušināšanas.

Mācību programmas apguvē nejaušināšana tiek piemērota pakāpeniski. Politika vispirms tiek trenēta šaurā, tīrā simulācijā, pēc tam pakāpeniski saskaras ar lielākām variācijām, uzlabojoties veiktspējai. Šī pakāpeniskā pieeja bieži vien konverģē ātrāk nekā pilnīgas nejaušināšanas piemērošana no paša sākuma.

Datu kvalitātes un kvantitātes kompromisi

Vairāk datu ne vienmēr nozīmē labākus rezultātus. Datu kopas sastāvs nosaka, ko apmācīta politika var un ko nevar paveikt.

Ja mērķis ir vispārēja politika, uzdevumu daudzveidībai ir lielāka nozīme nekā epizožu skaitam. Datu kopa, kas satur 100 000 viena un tā paša “paņem un novieto” uzdevuma epizožu, ģenerē speciālistu. Datu kopa, kas satur 10 000 epizožu, kas izkliedētas 50 uzdevumu veidos, var ģenerēt politiku, kas pēc nelielas precizēšanas tiek pārnesta uz jauniem uzdevumiem.

Iemiesojumu daudzveidība ir svarīga starprobotu pārnesei. OXE vērtība ir tieši tā, ka tā aptver roku veidus, mobilās platformas un veiklās rokas. Politika, kas iepriekš apmācīta OXE un precīzi noregulēta uz jauna robota, parasti pārspēj politiku, kas apmācīta no nulles, tikai izmantojot tā paša jaunā robota datus, un šis rezultāts ir saskanīgs vairākos publicētos pētījumos.

Epizodes ilgums un atkopšana pēc kļūmēm tiek novērtēta par zemu. Datu kopas, ko apkopojuši prasmīgi teleoperatori, kuri reti pieļauj kļūmes, rada politikas, kas nezina, kā atgūties no traucējumiem. Apzināta kļūmes stāvokļu ievadīšana un atkopšanas demonstrācijas ievērojami uzlabo noturību reālajā pasaulē. Dažas laboratorijas teleoperāciju sesiju laikā izmanto pretinieku traucējumus, lai ģenerētu šos datus.

Saskaņā ar nozares novērojumiem no vairākiem robotu mācību laboratoriju ziņojumiem 2024.–2025. gadā, papildu epizožu robežvērtība strauji samazinās, tiklīdz datu kopa aptver uzdevumu aptuveni 500–1,000 demonstrācijās, savukārt jaunu uzdevumu veidu robežvērtība saglabājas augsta līdz pat tūkstošiem atšķirīgu uzdevumu. EVST ņem to vērā, strukturējot pilotdatu ieguves šūnas, prioritāti piešķirot uzdevumu apjomam, nevis atkārtotu epizožu uzkrāšanai.

Rūpnieciskās klases datu apsvērumi

Rūpnīcas datu vākšana izvirza prasības, kuras akadēmiskās teleoperācijas iekārtas parasti neizpilda.

Deterministiskā reģistrēšana ir pirmā prasība. Ražošanas šūnā laika zīmogam uz savienojuma kodētāja rādījuma jābūt izsekojamam līdz sienas pulksteņa atsaucei ar precizitāti līdz mazāk nekā milisekundei. EtherCAT 1 kHz lauka kopnes vadība, kas ir standarta aprīkojums rūpnieciskajiem robotiem (tostarp EVST klāstā iekļautajiem), nodrošina deterministisko laika noteikšanas pamatu, kas padara vairāku sensoru sinhronizāciju viegli pārvaldāmu. Sistēma, kas darbojas ar 1 kHz frekvenci, ģenerē 1,000 savienojuma stāvokļa paraugus sekundē uz katru asi; šīs plūsmas saskaņošana ar kameras kadriem ar ātrumu 30–60 kadri sekundē un spēka un griezes momenta datiem ar frekvenci 500 Hz, prasa disciplinētu aparatūras laika zīmogošanas arhitektūru, nevis programmatūras buferizāciju.

Drošības uzlīmes ir nepieciešamas, ja epizodes ietver gandrīz notikušus notikumus, avārijas apstāšanās aktivizācijas vai spēka ierobežojumu pārkāpumus. Šīs uzlīmes ir nepieciešamas gan atbilstības nodrošināšanai, gan apmācības politikai, kas izprot ar drošību saistītus stāvokļus. Rūpnieciskie kontrolieri, kas reģistrē avārijas apstāšanās cēloņus un kopīgā griezes momenta pārsniegumus aparatūras līmenī, padara šo marķējumu viegli pārvaldāmu.

Cikla laika anotācija savieno robotu epizodes ar ražošanas rezultātiem. Apziņa, ka 4,712. epizode pabeidza montāžas uzdevumu 8.3 sekundēs ar nulles kvalitātes karodziņiem, saista robota apmācības datus ar MES sistēmu un ļauj atlasīt augstas kvalitātes demonstrācijas apmācībai.

Ar MES saistītie metadati ir tilts. Kad robota datu reģistrēšanas sistēma raksta epizožu failus ar pievienotajiem MES darba ID, detaļu veidiem un kvalitātes rezultātiem, iegūto datu kopu var filtrēt programmatiski. Ar pārstrādi, brāķēšanu vai operatora ignorēšanu saistītās epizodes var izslēgt vai uzskatīt par kļūmes demonstrācijām.

Praksē, modernizējot pilotšūnu datu ieguvei, visbiežāk sastopamā vājā vieta nav robota reģistrēšanas iespējas, bet gan šūnas tīkla arhitektūra. Industriālie Ethernet segmenti, kas bija paredzēti PLC un robota saziņai ar ātrumu zem kHz, ne vienmēr ir pielāgoti nepārtrauktas vairāku kameru video un propriocepcijas plūsmu joslas platumam. Šūna, kurā darbojas divas 1080p kameras ar 30 kadriem sekundē, sešu asu spēka dati un locītavu stāvokļi, ģenerē aptuveni 150–300 MB neapstrādātu epizožu datu minūtē. Krātuves un tīkla infrastruktūras plānošana pirms izvietošanas ļauj izvairīties no modernizēšanas izmaksām vēlāk.

Cauruļvadu un instrumentu marķēšana

Neapstrādāti epizožu ieraksti nav gatavi apmācībai. Tiem ir nepieciešamas valodas anotācijas, objektu segmentācijas maskas un dažos gadījumos atlīdzības etiķetes.

Valodas anotācija

Valodas kondicionētiem VLA modeļiem ir nepieciešams katras epizodes uzdevuma apraksts dabiskā valodā. Mazām datu kopām tas tiek darīts manuāli; datu kopām, kas pārsniedz 10 000 epizodes, ir nepieciešama automātiska anotācija, izmantojot vizuālās valodas modeļus (GPT-4V, Gemini vai specializētus parakstu modeļus). Kvalitātes kontrolei ir nepieciešama cilvēka veikta parauga pārskatīšana, lai automātiskajā anotētājā atklātu sistemātiskas kļūdas.

Objektu segmentācija un izsekošana

Politikas, kas aprēķina objektu stāvokli, gūst labumu no segmentācijas maskām katrai epizodei, kas identificē manipulētos objektus. Meta segmentācijas jebko modelis (SAM 2) padara interaktīvu segmentāciju viegli pārvaldāmu datu kopas mērogā, samazinot anotācijas laiku no stundām līdz minūtēm katrai epizodei, ja to apvieno ar izsekošanas izplatīšanas secību.

Atalgojuma veidošana RLHF

Ja epizodēs ir iekļautas gan veiksmes, gan neveiksmes demonstrācijas, atlīdzības marķēšana ļauj veikt pastiprinājuma mācīšanos, izmantojot cilvēka atgriezenisko saiti (RLHF). Cilvēku anotatori ranžē epizožu rezultātus, un šīs preferences apmāca atlīdzības modeli, kas veido politikas atjauninājumus. Šis cauruļvads tiek izmantots fiziskās intelekta pi0 izstrādē un tiek pētīts rūpniecisko uzdevumu apmācībai, kur binārās veiksmes/neveiksmes etiķetes jau ir pieejamas no MES.

Privātuma, intelektuālā īpašuma un datu kopu licencēšana

Atvērto datu kopu ieguldījums rada intelektuālā īpašuma jautājumus, kas rūpniecības oriģinālā aprīkojuma ražotājiem (OEM) ir jāatrisina pirms dalības.

Galvenās izmantotās licenču kategorijas ir CC-BY (nepieciešama atsauce, atļauta komerciāla izmantošana), CC-BY-NC (tikai nekomerciāla izmantošana) un Apache 2.0 (atļauta, tostarp komerciāla izmantošana un modeļa svara pārdale). Patentēti datu kopumi (Tesla Optimus, Figure autoparka dati, Boston Dynamics) netiek kopīgoti ārēji.

Rūpnīcu oriģinālā aprīkojuma ražotājiem (OEM) bažas par intelektuālā īpašuma tiesībām rada procesa pakļautība: epizode, kurā redzama konkrēta stiprinājuma konfigurācija, instrumenta ceļš vai armatūras dizains, var atklāt patentētas ražošanas metodes. Standarta mazināšanas pasākumi ir vizuālā konteksta noņemšana līdz gala efektora līmenim, tikai locītavu trajektoriju plūsmu pievienošana (bez kameras datiem) vai manipulāciju trajektorijas sintētisku atveidojumu izmantošana uz vispārīga fona. Vairāki jauni konsorciju modeļi piedāvā juridisku regulējumu anonimizētu rūpniecisko datu sniegšanai saskaņā ar savstarpējiem neizpaušanas līgumiem apvienojumā ar Apache 2.0 datu licencēm.

Saskaņā ar Stenfordas Universitātes CRFM un līdzstrādnieku analīzi 2024. gada robotu apguves aptaujā, patentēti datu silo ir lielākais strukturālais šķērslis mākslīgā intelekta (AI) progresam, pārsniedzot pašreizējos kritērijus. Rūpnieciskie oriģinālā aprīkojuma ražotāji (OEM), kas pašlaik izstrādā iekšējās datu pārvaldības sistēmas, būs gatavi piedalīties datu kopu konsorcijos, šīm programmām formalizējoties nākamo 18–24 mēnešu laikā.

Kā rūpnīcas oriģinālā aprīkojuma ražotāji (OEM) var sniegt datus

Rūpnieciskās automatizācijas piegādātāji (tostarp FANUC, ABB, KUKA un sertificēti gatavu risinājumu integratori, piemēram, EVST) atrodas robotu aparatūras un reālas ražošanas vides krustpunktā. Šī pozīcija padara tos par dabiskiem ieguldītājiem iemiesotajā mākslīgā intelekta datu ekosistēmā, ja ir ieviests darbības un juridiskais regulējums.

Pilota šūnas ar teleoperācijas pārklājumu

Vispieejamākais ieejas punkts ir pilotšūna, kur ražošanas robots ir aprīkots ar teleoperācijas pārklājumu: līdera-sekotāja roku, ko operators izmanto, lai demonstrētu ražošanas uzdevuma variācijas. Šīs demonstrācijas tiek apkopotas nelielā apjomā (50–500 epizodes) un ir pietiekamas, lai precīzi pielāgotu iepriekš apmācītu VLA modeli konkrētajam ražošanas uzdevumam. Pilotšūnas pieeja neprasa izmaiņas ražošanas šūnas drošības sertifikātā, jo teleoperācijas sistēma darbojas kā ievades ierīce robota kontrolierim, nevis kā paralēls vadības ceļš.

Ražošanas robotu modernizēšana

Esošos ražošanas robotus var aprīkot ar viegliem reģistrēšanas moduļiem, kas reģistrē locītavu stāvokli, gala efektora pozu un satvērēja spēku ar EtherCAT ātrumu, ražošanas laikā ierakstot laika zīmoga epizožu failus perifērijas serverī. Tas neprasa izmaiņas robota vadības programmā. Reģistrētie dati fiksē reālu ražošanas manipulāciju uzvedību, kas vairāk atbilst uzdevumam nekā laboratorijas demonstrācijas. EVST rūpnieciskie kontrolieri, kas darbojas ar 1 kHz EtherCAT cikla laikiem un ir sertificēti atbilstoši CE/SGS/TUV standartiem, nodrošina deterministisko laika arhitektūru, uz kuras balstās šī reģistrēšanas pieeja. Datus var tīrīt, anonimizēt un formatēt standarta robotu apmācības sistēmām bez dārga atkārtotas integrācijas darba.

Dalība anonimizētu datu kopu programmā

Jaunās OEM datu kopu programmas (tostarp AgiBot World atvērtā ieguldījumu programma un vairākas konsorcija diskusijas ICRA 2025) pieņem anonimizētus rūpnieciskās manipulācijas datus. OEM ar IATF16949 sertifikātu, piemēram, EVST, ir esoši kvalitātes vadības procesi, kas labi atbilst metadatu integritātes prasībām, ko nosaka šīs programmas: izsekojami laika zīmogi, dokumentēti vākšanas protokoli un validēti sensoru kalibrēšanas ieraksti.

Globāls lauka pārklājums kā datu priekšrocība

OEM ar lauka inženieriem vairāk nekā 100 valstīs var apkopot ietvertos mākslīgā intelekta apmācības datus no patiesi atšķirīgām ražošanas vidēm (dažādām sagataves ģeometrijām, apkārtējās vides apstākļiem, operatora demogrāfiskajiem datiem un procesa variācijām). Šī ģeogrāfiskā daudzveidība ir vērtīga, jo politikas, kas apmācītas uz tās, ir labāk vispārināmas nekā tās, kas apmācītas uz datiem no vienas laboratorijas vai iekārtas. EVST sprādziendrošie sertificētie roboti un pilna diapazona 3–800 kg klāsts nozīmē, ka datu vākšana var attiekties uz tādām vidēm kā ķīmiskā apstrāde, bīstamo materiālu apstrāde un ražošana ekstremālās temperatūrās, ko lielākā daļa akadēmisko datu kopu vispār neaptver.

Galvenie nozares datu punkti

Saskaņā ar Starptautiskās Robotikas federācijas (IFR) Pasaules robotikas 2024. gada ziņojumu, 2023. gadā visā pasaulē darbojās vairāk nekā 3.9 miljoni rūpniecisko robotu, tomēr lielākās atvērtās robotu manipulācijas datu kopas kopā satur mazāk nekā 2 miljonus epizožu, kas ilustrē mēroga atšķirību starp izvietoto aparatūru un pieejamajiem apmācības datiem. EVST risina šo problēmu, izpētot modernizācijas reģistrēšanas arhitektūras, kas pārveido ražošanas robotu parkus par pasīviem datu vākšanas līdzekļiem.

Saskaņā ar Open X-Embodiment rakstu (Padalkar et al., Google DeepMind et al., 2023), modeļi, kas apmācīti ar vairāk nekā 22 robotu tipu starpiemiesojumu datiem, uzrādīja izmērāmi labāku vispārinājumu atliktajos uzdevumos nekā modeļi, kas apmācīti tikai ar jebkura atsevišķa iemiesojuma datiem. EVST risina šo problēmu, strukturējot savu iekšējo datu novērtēšanas sistēmu, lai, novērtējot datu kopas lietderību ražošanas līnijas precizēšanas novērtējumiem, ņemtu vērā iemiesojumu daudzveidību līdzās epizožu skaitam.

Saskaņā ar nozares novērojumiem no vairākām robotu mācību laboratorijām 2024.–2025. gadā, vizuālās simulācijas un reālā attēla atšķirība veido lielāko daļu politikas kļūmju gadījumu manipulācijas uzdevumos, kas ietver spoguļattēlus vai caurspīdīgus objektus, kurus standarta domēna nejaušināšanas metodes nevar droši aptvert. EVST šo problēmu risina, uzraugot fotoreālistiskus simulācijas rīkus (īpaši NVIDIA Cosmos un Gaussian Splatting cauruļvadus) kā kandidātus papildināšanas slāņiem savam mākslīgā intelekta uzlabotajam kustību plānošanas ceļvedim.

Saistītie ceļveži

• Iemiesots mākslīgais intelekts un VLA modeļi rūpnieciskajā robotikā: kas jāzina rūpnīcu inženieriemAptver redzes-valodas-darbības modeļu arhitektūru un to izvietošanas ierobežojumus ražošanas aparatūrā.
• Humanoīdi roboti rūpnieciskajā ražošanā 2026. gadāAnalizē, kurus uzdevumus patiešām var veikt ar humanoīdu platformām, salīdzinot ar parastajām rūpnieciskajām rokām.
• Humanoīdie roboti salīdzinājumā ar rūpniecisko robotu rokām izmantošanai rūpnīcās 2026. gadāTiešs abu veidfaktoru iespēju, izmaksu un integrācijas sarežģītības salīdzinājums.
• Pilnīgs kobotu ceļvedis: veidi, izvēle un pielietojums 2026. gadāPamatatsauce sadarbības robotu izvēlei, ņemot vērā kravnesību, pielietojumu un vides prasības.

Biežāk uzdotie jautājumi

Kāpēc iemiesotā mākslīgā intelekta datu vākšana ir grūtāka nekā datu vākšana valodu modeļiem?

Valodas modeļi trenējas, izmantojot tekstu, kas jau pastāv internetā milzīgā mērogā. Iemiesotiem mākslīgā intelekta robotiem ir jāapkopo ar darbību saistīti sensoromotoriskie dati: sinhronizēti locītavu leņķi, satvērēja spēki, kameras kadri un uzdevuma konteksts, kas viss tiek ierakstīts fiziskās manipulācijas laikā. Šie dati nepastāv tīmekļa mērogā, un to ģenerēšana ir dārga. Katra teleoperācijas epizode parasti aizņem 1–10 minūtes kvalificēta operatora laika, lai izveidotu vienu apmācības trajektoriju, un kvalitāte pasliktinās, ja operators nav pazīstams ar robota dinamiku.

Kāda ir atšķirība starp pārsūtīšanu no simulācijas uz reālo vidi un domēna nejaušināšanu robotu apmācībā?

Vispārējais mērķis ir pārnešana no simulācijas uz reālo vidi: apmācīt politiku simulācijā un ieviest to fiziskā robotā, nezaudējot veiktspēju. Domēna nejaušināšana ir viena no metodēm šī mērķa sasniegšanai. Tā apmācības laikā nejauši maina simulācijas parametrus — apgaismojumu, tekstūras, berzes koeficientus, objektu masas, lai politika iemācītos apstrādāt reālās pasaules variācijas, nevis pārāk pielāgotos vienam simulētam izskatam. Citas metodes ietver domēna adaptāciju, fotoreālistisku renderēšanu (kā NVIDIA Cosmos) un sistēmas identifikāciju.

Kas ir Open X-Embodiment un cik daudz robotu veidu tas aptver?

Open X-Embodiment ir liela mēroga atvērta robotu apmācības datu kopa, ko apkopojis Google DeepMind kopā ar 33 pētniecības iestādēm. Tajā ir apkopoti vairāk nekā 1 miljons robotu epizožu vairāk nekā 22 robotu iemiesojumos — vienas rokas manipulatoros, divroku platformās, mobilajās bāzēs un veiklās rokās. OXE apmācītie RT-X modeļi parādīja, ka starpiemiesojumu apmācība uzlabo politikas vispārināšanu salīdzinājumā ar viena iemiesojuma bāzes līnijām.

Kā rūpnīcas oriģinālā aprīkojuma ražotājs (OEM) var sniegt robotu datus mākslīgā intelekta apmācībai, neatklājot patentētu procesa intelektuālo īpašumu?

Vispraktiskākā pieeja ir anonimizēta epizožu ieguldījuma iegūšana: noņemt procesu identificējošos metadatus (detaļu numurus, klientu atsauces, cikla laika mērķus) un iesniegt tikai kopīgo trajektoriju un satvērēja stāvokļa plūsmas. Vairākas datu kopu programmas, tostarp AgiBot World un jaunās OEM konsorciju iniciatīvas, pieņem anonimizētus rūpnieciskās manipulācijas datus saskaņā ar Apache 2.0 vai CC-BY noteikumiem. Reģistrēšanas infrastruktūra ar deterministiskiem EtherCAT laika zīmogiem nodrošina, ka epizožu kvalitāte atbilst datu kopu uzņemšanas standartiem.

Kura teleoperācijas datu vākšanas sistēma vislabāk darbojas rūpnieciskās manipulācijas uzdevumiem?

Rūpnieciskai manipulācijai galvenās iespējas ir ALOHA 2 (divmanuālas līdera-sekotāja rokas, lētas, atvērtā pirmkoda), UMI (uz plaukstas locītavas stiprināma, atdalīta no robota, ļoti pārnēsājama) un uz eksoskeleta balstīta uztveršana lielākas slodzes vai pilna ķermeņa uzdevumiem. VR platformas, kas izmanto Apple Vision Pro vai Meta Quest 3, gūst popularitāti intuitīvai divmanuālai uztveršanai, taču tām ir nepieciešama atkārtota mērķauditorijas atlase, lai cilvēka rokas kinemātiku pārvērstu robota locītavu telpā. Pareizā izvēle ir atkarīga no mērķa robota brīvības pakāpēm, slodzes un no tā, vai uzdevumam ir nepieciešamas divas rokas.

Pēdējoreiz atjaunināts: 23, 2026. Aprīlis

skatiet mūsu Iemiesoti mākslīgā intelekta risinājumi →