Andmete kogumine kehastunud tehisintellekti jaoks: teleoperatsiooni, simulatsioonist reaalsuseks ja tööstuslikud andmekogumid aastal 2026

Sisukord

Viimati värskendatud: aprill 23, 2026

Andmete kogumine kehastunud tehisintellekti jaoks: teleoperatsiooni, simulatsioonist reaalsuseks ja tööstuslikud andmekogumid aastal 2026

Kehastunud tehisintellekti pudelikaelaks on andmed, mitte arvutus. Robotipoliitika treenimine nõuab sünkroniseeritud tegevus-oleku vooge, mida interneti tasandil lihtsalt ei eksisteeri. Praegu rahuldavad seda nõudlust kolm allikat. Inimestevaheline kaugoperatsioon annab kvaliteetseid demonstratsioone operaatori aja arvelt. Simulatsioonilt reaalsele ülekanne suurendab episoodide arvu, kuid tekitab täpsuse puudujäägi. Suured avatud andmekogumid koondavad panuseid kümnetelt laboritelt ja platvormidelt.

Miks andmed on tehisintellekti kehastus ja pudelikael?

Arvutus on järginud etteaimatavat skaleerimiskõverat. GPU-klastrid, mis on võimelised treenima miljardi parameetriga nägemis-keele-tegevuse (VLA) mudeleid, on tänapäeval kaubanduslikult saadaval. Skaleeritud pole aga andmed, mida need mudelid vajavad: seotud vaatlused ja tegevused, mis on salvestatud roboti füüsilise manipuleerimise ajal, ning piisava ülesannete ja kehastuste mitmekesisusega, et luua üldistatavaid poliitikaid.

Keelemudel suudab veebist nädalate jooksul hankida triljon tokenit. Roboti manipuleerimise andmestik tuleb genereerida episood episoodi haaval, millest igaüks nõuab füüsilist robotit, reaalset või simuleeritud keskkonda, ülesande määratlust ja kas inimoperaatorit või skriptitud demonstratsiooni. Rahvusvaheline Robootika Föderatsioon (IFR) hindab, et 2024. aastal töötas maailmas üle 3.9 miljoni tööstusroboti, kuid suurimad avatud manipuleerimise andmekogumid sisaldavad suurusjärgus miljon episoodi. See vahe ei vähene kiiresti.

Probleem süveneb veelgi, kui arvestada teostusvariandi lünka: 6-vabadusastmelise ühekäelise manipulaatori peal treenitud poliitika ei kandu sujuvalt üle kahekäelisele humanoidile ega mobiilsele käega alusele. Iga uus roboti vormitegur lähtestab andmenõuded. Toimingute tükeldamise lähenemisviisid (kus poliitika väljastab mitmeastmelisi toimingujadasid üksikute sammude asemel) vähendavad järelduste latentsust, kuid ei vähenda vajadust mitmekesise treeningkatte järele.

Open X-Embodimenti artikli (Padalkar jt, 2023, Google DeepMind jt) kohaselt võib erinevate robotiandmete põhjal teostatav ristkehastuskoolitus parandada poliitika üldistamist kaugemale sellest, mida pakuvad ühe kehastuse andmekogumid. EVST tegeleb sellega, hinnates ristkehastuse andmekogumi kvaliteeti osana oma sisemisest hindamisprotsessist, valides oma täismahus 3–800 kg robotite valiku jaoks tehisintellektiga täiustatud liikumisplaneerimist. Selle andmestrateegia riistvaralise poole kohta vt EVST kehastunud tehisintellekti lahendused, sealhulgas humanoidrobotid, osavad andmekogumiskäed, neljajalgsed robotid ja kehastunud tehisintellekti arendamise pilootplatvormid.

Kolm peamist andmeallikat: tugevused ja piirid

Teleoperatsioon

Teleoperatsioon jäädvustab sihtroboti riistvaral eksperttasemel demonstratsioone. Operaator juhib robotit eemalt, kasutades juht-järgija käsi, VR-peakomplekte, eksoskeleti ülikondi või pihuseadmeid, samal ajal kui süsteem salvestab sünkroonis iga liigese nurka, haaratsi olekut, jõu näitu ja kaamera kaadrit. Kuna andmed pärinevad inimeselt, kes täidab tegelikku ülesannet tegelikul robotil, on tegevuse ja oleku vastavus täpne ning teostuse vahe on null.

Piiranguks on läbilaskevõime. Oskuslikud teleoperaatorid toodavad ülesande keerukusest olenevalt umbes 5–50 episoodi tunnis ja andmete kvaliteet langeb, kui operaatorid väsivad. Teleoperatsioon ei ole ka skaleeritav rikete taastamiseni ilma läbimõeldud protokolli kavandamiseta: kui operaatoritel alati õnnestub, ei õpi poliitika kunagi häiretest taastuma.

Simulatsioonilt reaalsele ülekanne

Füüsika simulaatorid (MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet) võimaldavad teadlastel genereerida miljoneid roboti episoode peaaegu nullkuluga. Üks GPU klaster suudab üleöö käivitada tuhandeid paralleelseid simulatsiooni eksemplare. Kulud ilmnevad juurutamisel: simulatsioonis treenitud poliitikad ebaõnnestuvad sageli reaalse maailma kontaktdünaamika, andurite müra ja visuaalse variatsiooni korral, mida simulaator ei suutnud täpselt jäljendada. Selle simulatsiooni ja reaalsuse vahelise lõhe kaotamine on aktiivne uurimisvaldkond.

Interneti-video ja passiivne vaatlus

Suured internetivideote abil eeltreenitud nägemiskeele mudelid annavad üldise stseeniarusaama, mis aitab ülesande maandamisel. Füüsilise Intellekti pi0 arhitektuur ja sarnased VLA disainid kasutavad video eeltreeningut manipuleerimisoskuste alglaadimiseks enne robotidemonstratsioonidel peenhäälestust. Piirang on see, et video ei paku tegevuste silte: video näitab kätt objekti haaramas, kuid ei salvesta rakendatud jõudu ega samaväärse robotkäe liigesnurki. Pöörddünaamika mudelid saavad videost osaliselt tegevusi järeldada, kuid saadud pseudosildid sisaldavad müra.

Teleoperatsiooni riistvara ja protokollid

Teleoperatsiooniliidese valik kujundab nii andmete kvaliteeti kui ka kogumise läbilaskevõimet. Allpool on loetletud süsteemid, mis olid 2025.–2026. aasta teadus- ja kommertsprogrammides kõige aktiivsemad.

Juhi-järgija relvad: ALOHA ja mobiilne ALOHA

ALOHA (A Low-cost Open-source Hardware System for Bimanual Teleoperation ehk odav avatud lähtekoodiga riistvarasüsteem kahekäeliseks teleoperatsiooniks) töötati välja Stanfordi ülikoolis ja see kasutab kahte odavat juhtkätt, mida operaator liigutab käsitsi, samal ajal kui kaks robotil olevat sobivat järgijakätt jäljendavad liikumist reaalajas. Bimanuaalne disain hõlmab kahekäelisi ülesandeid, mida ühekäelised süsteemid ei suuda. Mobiilne ALOHA laiendab platvormi mobiilsele alusele. 2024. aastal välja antud ALOHA 2 parandas liigeste jälgimise täpsust ja operaatori ergonoomikat. Riistvara maksumus on juht-järgija paari puhul alla 20 000 dollari, mis on soodustanud selle kasutuselevõttu kümnetes akadeemilistes laborites.

Randmele kinnitatavad liidesed: UMI

Stanfordi ja Columbia ülikoolide loodud universaalne manipuleerimisliides (UMI) paigaldab kalasilm-kaamera ja kodeerija pihuarvuti külge. Operaator demonstreerib füüsiliselt ülesannet keskkonnas, samal ajal kui haarats salvestab efektorpea asendi ja haarde olekut. UMI lahutab andmete kogumise robotist: demonstratsioone saab koguda välitöödel ja hiljem suunata need ümber roboti erinevatele teostusvariantidele. See muudab selle eriti kasulikuks manipuleerimisandmete kogumiseks väljaspool laborikeskkonda.

VR ja pea külge kinnitatavad ekraanid

Apple Vision Pro ja Meta Quest 3 on mõlemad uuritavateks teleoperatsiooniliidesteks. Nende atraktiivsus seisneb kahe käega töötamises kuue vabadusastmega käejälgimisvõime ja intuitiivses operaatori juhtimises. Inseneritöö väljakutseks on sihtimise ümbersuunamine: inimese käe kinemaatika (viis sõrme, 27 liigest) peab vastama roboti efektorseadme käskudele (tavaliselt 1 vabadusastmega haaratsid või osavad käed 12–16 vabadusastmega). Ilma hoolika sihtimiseta sisaldavad salvestatud demonstratsioonid operaatori kavatsusi, kuid mitte otseselt teostatavaid roboti toiminguid.

Eksoskelett ja kogu keha jäädvustamine

Humanoidrobotite puhul, mis vajavad kogu keha liikumisandmeid (sh liikumist koos manipuleerimisega), jäädvustavad eksoskelett-ülikonnad kogu keha kinemaatikat diskreetimissagedusega üle 100 Hz. AgiBot kasutab oma AgiBot Worldi andmestiku jaoks humanoidmanipulatsiooni andmete kogumiseks eksoskeletipõhist lähenemisviisi. Fourier GR-1 teleoperatsioon tugineb sarnaselt kantavale jäädvustusseadmele, mis on sobitatud roboti liigeste konfiguratsiooniga.

Joonis ja suuremahulised kaubanduslikud laevastikud

Figure AI haldab oma BMW tootmisüksuses patenteeritud teleoptikaparki. Andmete hooratta mudel, kus iga kasutusele võetud robot kogub uusi episoode, mis annavad tagasisidet treeningule, on samuti Tesla Optimuse arendusstrateegia keskmes. Need suletud ahelaga süsteemid koguvad tööstusandmeid kiirusega, millega avatud akadeemilised andmekogumid ei suuda sammu pidada.

Teleoperatsiooniplatvormi võrdlus

Platvorm DoF jäädvustati Kulutasand Hinnanguline läbilaskevõime (episoodid/h) Kehastus sobib Võtme tugevus
ALOHA 2 (Stanford / Trossen) 14 (kahe käega, 7 iga käega) Madal (~15 000–20 000 dollarit riistvara) 10-30 Bimanuaalne töölaua manipuleerimine Avatud lähtekoodiga, tõestatud ACT poliitikakoolituses
UMI (Stanfordi / Columbia) 6 (efektorosa + haare) Väga madal (~500 dollari suurune seadeldis) 20-60 Üheharuline, taassihtitav Looduses kogumine, robotit pole vaja
Apple Vision Pro riistvara Kuni 52 (käe orientiirid) Keskmise suurusega (~3.5 tuhat dollarit HMD + rig) 10-25 Bimanuaalsed / osavad käed Intuitiivne kasutajatunnetus; ruumiline heli tagasiside
Meta Quest 3 varustus Kuni 26 (käsi + kontroller) Madal–keskmine (~500 dollarit HMD + rig) 10-25 Bimanuaalne / mobiilne alus Ligipääsetav hind; aktiivne teadusökosüsteem
AgiBot A2 eksoskelett Kogu ülakeha (~44) Kõrge (patenteeritud) 5-15 Humanoidne täiskeha Kogu keha koordinatsioon humanoidide treenimiseks
Fourier GR-1 teleop Ülakeha + käed (~40) Kõrge (patenteeritud) 5-15 GR-1 humanoid Sobiv kinemaatika, null sihtimise kaotust
Joonis omanduses olev laevastik Täielik humanoid Väga kõrge (patenteeritud) Laevastiku ulatus (avalikustamata) Joonis 02 humanoid Kasutuselevõtu andmed hooratta kohta, BMW tehaseandmed

Märkus: läbilaskevõime näitajad on ligikaudsed vahemikud, mis on võetud avaldatud uuringutest ja teadlaste aruannetest. Individuaalse operaatori oskused ja ülesande keerukus mõjutavad tulemusi oluliselt.

Avalikud andmekogumid: Open X-Embodiment, DROID, BridgeData, RoboSet, RH20T, AgiBot World

Avatud andmestike ökosüsteem on alates 2022. aastast kiiresti laienenud. Allpool on ülevaade enim tsiteeritud kogudest 2026. aasta alguse seisuga.

Avatud X-teostus (OXE) ja RT-X

Google DeepMindi ja 33 panustava institutsiooni poolt kokku pandud OXE koondab üle miljoni episoodi enam kui 22 robotitüübi kohta. Seotud RT-X mudelid näitasid, et koondatud kehastustevaheliste andmete treenimine ületab üldistusnäitajate osas ühe kehastuse baasjooned. OXE avaldatakse CC-BY ja Apache 2.0 litsentside segu all, olenevalt panustavast institutsioonist. Juurdepääs on RT-X veebisaidi ja HuggingFace'i kaudu.

DROID

DROID (Distributed Robot Interaction Dataset) koguti 13 Põhja-Ameerika uurimislaboris standardiseeritud Franka Panda seadistuse ja ALOHA-stiilis teleoperatsiooniliidese abil. See sisaldab ligikaudu 76 000 episoodi erinevatest kodumajapidamises ja laual tehtavatest manipuleerimisülesannetest. Standardiseeritud riistvara eri asukohtades teeb DROIDist ühe puhtaima suuremahulise manipuleerimisandmestiku käitumise kloonimiseks ja RLHF-katseteks.

BridgeData V2

BridgeData V2, mis pärineb UC Berkeleyst ja Stanfordist, sisaldab ligikaudu 60 000 demonstratsiooni väga erinevate lauaarvutiga manipuleerimise ülesannete kohta. See kasutab WidowX kätt ja on tähelepanuväärne oma ülesannete mitmekesisuse poolest (üle 70 erineva ülesannete kategooria), mis teeb sellest VLA mudelite tavalise peenhäälestamise baasjoone. Avaldatud litsentsi CC-BY 4.0 all.

RoboSet

IIT Delhi ja tema kaastöötajate RoboSet pakub Franka Panda abil kogutud mitme ülesandega köögimanipulatsiooni andmeid. See sisaldab iga episoodi kohta RGB-D vaatlusi ja keelelisi annotatsioone. RoboSet on loodud spetsiaalselt keelega seotud poliitika hindamise toetamiseks, muutes selle kasulikuks juhiste järgimise üldistamise testimiseks.

RH20T

RH20T (Robot-Human 20 Tasks) on ulatuslik kontaktirikas manipulatsiooniandmestik, mis sisaldab sünkroniseeritud roboti propriotseptsiooni, RGB-videot, sügavust, taktiilsust ja helivooge. Multimodaalne rikkus teeb RH20T-st lähtepunkti teadlastele, kes töötavad poliitikate kallal, mis vajavad kontakti tuvastamist, mitte ainult visuaalset vaatlust.

AgiBoti maailm

AgiBot World on humanoidide manipuleerimise andmestik, mille on loonud Hiina robootikaettevõte AgiBot, kasutades oma eksoskeletipõhist andmekogumiskanalit. See keskendub kogu keha hõlmavatele humanoidide manipuleerimise ülesannetele ja on üks esimesi suuremahulisi andmekogumeid, mis on spetsiaalselt suunatud humanoidide vormiteguritele tööstuslikus mastaabis. AgiBot World on avatud uurimislitsentsi alusel saadaval mittekaubanduslikuks kasutamiseks.

Avaliku kehastatud tehisintellekti andmestiku viide

Andmebaas Omanik / Müügijuht Hinnanguline episoodide arv Kaetud teostusvariandid litsents juurdepääs
Avatud X-kehastus (OXE) Google DeepMind + 33 partnerit ~1,000,000+ 22+ robotitüüpi CC-BY / Apache 2.0 (kaastöölise kohta) RT-X sait, HuggingFace
DROID 13 Põhja-Ameerika laborit ~ 76,000 Franka Panda (standardiseeritud) CC BY 4.0 droid-dataset.github.io
BridgeData V2 UC Berkeley / Stanfordi ~ 60,000 LeskX käsi CC BY 4.0 rail.eecs.berkeley.edu
RoboSet IIT Delhi jt. ~110 000+ (teatatud) Franka Panda CC BY 4.0 Kallistav Nägu
RH20T Mitme institutsiooniga (CN/EL) ~110 000+ (teatatud) Mitu käe tüüpi CC-BY-NC 4.0 rh20t.github.io
AgiBoti maailm AgiBot (Hiina) ~1 000 000 (sihtrühm) AgiBoti humanoid Avatud uuringud (mitteärilised) AgiBoti portaal

Episoodide arv ja litsentsitingimused pärinevad andmekogumi dokumentidest ja ametlikest repositooriumidest 2026. aasta alguse seisuga. Enne kasutamist kontrollige kehtivaid tingimusi.

Simulatsioonist reaalsuseks muutmise stack: Isaac Sim, MuJoCo, Cosmos ja domeeni randomiseerimine

Simulatsioon skaleerib andmete genereerimist. Praktiline küsimus on, millist simulaatorit kasutada ja kuidas vähendada lünka füüsilise riistvaraga.

MuJoCo

MuJoCo (mitme liigesega dünaamika kontaktiga) on endiselt kontaktirohkete manipulatsioonide uurimise standard. Selle füüsikamootor käsitleb jäika keha dünaamikat, pehmeid kontakte ja kõõluste abil aktiveeritud süsteeme arvutusliku efektiivsusega, mis võimaldab tuhandeid paralleelseid treeningepisoode ühel GPU klastril. Google DeepMindi avatud lähtekoodiga versioon 2022. aastal kiirendas oluliselt kasutuselevõttu. Enamik akadeemilisi käitumise kloonimise ja RLHF võrdlusaluseid kasutab MuJoCo keskkondi.

NVIDIA Isaac Sim ja Isaac Lab

Isaac Sim töötab NVIDIA Omniverse platvormil ja pakub GPU-kiirendusega füüsikat koos kõrge täpsusega renderdamisega. Isaac Lab (varem OmniIsaacGymEnvs) on Isaac Simil põhinev tugevdusõppe raamistik, mis on optimeeritud massiliselt paralleelsete poliitikate treenimiseks. Peamine eelis on fotorealistlik renderdamine: Isaac Simi teekonnal põhinevad visuaalid vähendavad visuaalse domeeni lõhet võrreldes MuJoCo lihtsustatud renderdajatega, mis on oluline nägemispõhiste poliitikate treenimisel.

NVIDIA Cosmos

Cosmos on NVIDIA maailma alusmudeli platvorm, mis kuulutati välja 2024. aasta lõpus. Füüsika simuleerimise asemel esimeste põhimõtete põhjal genereerib Cosmos fotorealistlikke videoid roboti ja objekti interaktsioonidest teksti- või pildiülesannete põhjal, mida treenitakse suurtel videoandmekogumitel. Eesmärk on genereerida sünteetilisi treeningandmeid, mis näevad välja piisavalt reaalsed, et sulgeda visuaalse simulatsiooni ja reaalsuse vaheline lõhe ilma käsitsi loodud domeeni randomiseerimiseta. 2026. aasta alguse seisuga uurivad mitmed robotiõppe laborid Cosmost andmete täiendamise kihina lisaks reaalsetele demonstratsioonidele.

Gaussi pritsimine ja stseeni rekonstrueerimine

3D Gaussi pihustamine rekonstrueerib fotorealistlikke stseene väikesest RGB-piltide komplektist minutite, mitte tundide jooksul. Robotite treenimise puhul tähendab see, et labor saab skannida uut töökeskkonda, rekonstrueerida Gaussi stseeni ja genereerida uusi vaatepunkte või objektide konfiguratsioone andmete täiendamiseks, ilma et oleks vaja üldse füüsikasimulaatorit. Seda lähenemisviisi integreeritakse mitmesse simulatsioonist reaalsuseks muutmise torujuhtmesse odava visuaalse domeeni randomiseerimise tööriistana.

Domeeni randomiseerimine ja süsteemi identifitseerimine

Domeeni randomiseerimine randomiseerib simulatsiooniparameetrid (objektide tekstuurid, valgustingimused, hõõrdetegurid, roboti liigeste jäikus) treeningu ajal, sundides poliitikat olema variatsioonide suhtes vastupidav, mitte sobitama seda ühele simuleeritud konfiguratsioonile. Süsteemi identifitseerimine kasutab täiendavat lähenemisviisi: see mõõdab täpselt reaalse roboti füüsikalisi parameetreid (mass, inerts, liigeste elastsus) ja kasutab neid väärtusi simulatsioonis, et minimeerida tühimikku enne randomiseerimist.

Õppekavas rakendatakse juhuslikkust järk-järgult. Poliitika treenib esmalt kitsas ja puhtas simulatsioonis ning seejärel kogeb tulemuslikkuse paranedes järk-järgult rohkem variatsioone. See etapiviisiline lähenemine koondub sageli kiiremini kui täieliku juhuslikkuse rakendamine algusest peale.

Andmete kvaliteedi ja kvantiteedi kompromissid

Rohkem andmeid ei ole automaatselt parem. Andmestiku koosseis kujundab seda, mida treenitud poliitika suudab ja mida mitte.

Kui eesmärk on üldine poliitika, on ülesannete mitmekesisus olulisem kui episoodide arv. Sama „vali ja paiguta” ülesande 100 000 episoodist koosnev andmestik loob spetsialisti. 10 000 episoodist koosnev andmestik, mis on jaotatud 50 ülesandetüübi vahel, võib luua poliitika, mis pärast mõnepunktilist peenhäälestust kandub üle uutele ülesannetele.

Kehastusviiside mitmekesisus on robotitevahelise ülekande puhul oluline. OXE väärtus seisneb just selles, et see hõlmab erinevaid käetüüpe, mobiilplatvorme ja osavaid käsi. OXE-l eelnevalt treenitud ja uuel robotil peenhäälestatud poliitika annab tavaliselt parema tulemuse kui nullist treenitud poliitika ainult sama uue roboti andmete põhjal, mis on järjepidev mitmetes avaldatud uuringutes.

Episoodi pikkust ja riketest taastumist alahinnatakse. Oskuslike teleoperaatorite kogutud andmekogumid, kes harva rikkeid teevad, loovad poliitikaid, mis ei tea, kuidas häiretest taastuda. Rikkeseisundite tahtlik sisestamine ja taastumise demonstreerimine parandab oluliselt reaalse maailma vastupidavust. Mõned laborid kasutavad nende andmete genereerimiseks teleoperatsiooniseansside ajal vastassuunalisi häireid.

Mitmete robotite õppelaborite aruannete põhjal aastatel 2024–2025 tehtud tööstusharu tähelepanekute kohaselt langeb täiendavate episoodide piirväärtus järsult, kui andmestik hõlmab ülesannet umbes 500–1,000 demonstratsioonil, samas kui uut tüüpi ülesannete piirväärtus jääb kõrgeks kuni tuhandete erinevate ülesanneteni. EVST võtab seda arvesse pilootandmete kogumise lahtrite struktureerimisel, seades ülesande ulatuse esikohale korduvate episoodide kogumise ees.

Tööstusliku klassi andmete kaalutlused

Tehaseandmete kogumine esitab nõudeid, mida akadeemilised kaugtöökeskkonnad tavaliselt ei lahenda.

Deterministlik logimine on esimene nõue. Tootmisüksuses peab ühenduskoodri näidu ajatempel olema jälgitav seinakella viiteni millisekundi täpsusega. EtherCAT 1 kHz väljasiini juhtimine, mis on tööstusrobotite (sh EVST tootevaliku robotite) standardvarustuses, pakub deterministliku ajastuse aluse, mis muudab mitme anduriga sünkroniseerimise teostatavaks. 1 kHz sagedusel töötav süsteem genereerib 1,000 ühendusoleku näidist sekundis telje kohta; selle voo joondamine kaamerakaadritega kiirusel 30–60 kaadrit sekundis ja jõu-pöördemomendi andmetega sagedusel 500 Hz nõuab distsiplineeritud riistvaralist ajatempli arhitektuuri, mitte tarkvaralist puhverdamist.

Ohutusmärgised on vajalikud, kui episoodid hõlmavad peaaeguõnnetusi, avariipeatumisi või jõupiirangute rikkumisi. Need märgised on vajalikud nii vastavuse tagamiseks kui ka koolituspoliitikate jaoks, mis mõistavad ohutusega seotud seisundeid. Tööstuskontrollerid, mis logivad avariipeatumise põhjuseid ja ühiste pöördemomentide ületamisi riistvara tasandil, muudavad selle märgistuse lihtsaks.

Tsükliaja annotatsioon seob roboti episoodid tootmistulemustega. Teadmine, et episood 4,712 lõpetas montaažiülesande 8.3 sekundiga ilma kvaliteedilippudeta, seob roboti õppeandmed MES-süsteemiga ja võimaldab valida treenimiseks kvaliteetseid demonstratsioone.

MES-iga seotud metaandmed on sillaks. Kui roboti andmelogimissüsteem kirjutab episoodifailid koos MES-i töö ID-de, osade tüüpide ja kvaliteeditulemustega, saab saadud andmestikku programmiliselt filtreerida. Ümbertöötlemise, praagi või operaatori tühistamisega seotud episoode saab välistada või käsitleda rikke demonstratsioonidena.

Praktikas ei ole pilootseadme andmete kogumiseks moderniseerimisel kõige levinum kitsaskoht roboti logimisvõime, vaid seadme võrguarhitektuur. Tööstuslikud Etherneti segmendid, mis on projekteeritud PLC-robotitevaheliseks suhtluseks alla kHz kiirustel, ei ole alati suuruse poolest sobivad pideva mitme kaameraga video ja propriotseptsiooni voogude ribalaiusega. Seade, mis käitab kahte 1080p kaamerat kiirusel 30 kaadrit sekundis koos kuueteljelise jõuandmete ja liigeste olekutega, genereerib umbes 150–300 MB toorandmeid minutis. Salvestus- ja võrguinfrastruktuuri planeerimine enne juurutamist aitab vältida hilisemaid moderniseerimiskulusid.

Torujuhtmete ja tööriistade märgistamine

Toored episoodisalvestised ei ole treenimiseks valmis. Need vajavad keelelisi annotatsioone, objektide segmenteerimismaske ja mõnel juhul ka preemiasilte.

Keelemärkus

Keelega seotud VLA mudelid vajavad iga episoodi ülesande loomulikus keeles kirjeldust. Väikeste andmekogumite puhul tehakse seda käsitsi; üle 10 000 episoodi sisaldavate andmekogumite puhul on vajalik automaatne annotatsioon, kasutades visuaalse keele mudeleid (GPT-4V, Gemini või spetsiaalsed subtiitrite mudelid). Kvaliteedikontroll nõuab inimese poolt valimi ülevaatamist, et tuvastada automaatse annotaatori süstemaatilisi vigu.

Objektide segmenteerimine ja jälgimine

Objektide oleku kohta arutlevad poliitikad saavad kasu episoodipõhistest segmenteerimismaskidest, mis tuvastavad manipuleeritud objektid. Meta Segment Anything Model (SAM 2) muudab interaktiivse segmenteerimise andmestiku skaalal hõlpsasti jälgitavaks, vähendades jälgimise levikuga kombineerituna episoodi kohta annoteerimise aega tundidelt minutitele.

RLHF-i tasu kujundamine

Kui episoodid sisaldavad nii edu kui ka ebaedu demonstratsioone, võimaldab preemiamärgistus inimtagasiside (RLHF) abil tugevdusõpet peenhäälestada. Inimlikud annotaatorid järjestavad episoodide tulemusi ja need eelistused treenivad preemiamudelit, mis kujundab poliitika uuendusi. Seda torujuhet kasutatakse füüsilise intelligentsuse pi0 arendamisel ja seda uuritakse tööstuslike ülesannete treenimiseks, kus binaarsed edu/ebaedu sildid on MES-ist juba saadaval.

Privaatsus, intellektuaalomand ja andmestiku litsentsimine

Avatud andmestike panused tekitavad intellektuaalomandi küsimusi, millele tööstuslikud originaalseadmete tootjad (OEM-id) peavad enne osalemist lahenduse leidma.

Peamised kasutusel olevad litsentsikategooriad on CC-BY (viitamine nõutav, äriline kasutamine lubatud), CC-BY-NC (ainult mitteäriline) ja Apache 2.0 (lubatud, sh äriline kasutamine ja mudeli kaalu ümberjaotamine). Omandiõigusega kaitstud andmekogumeid (Tesla Optimus, Figure'i autopargi andmed, Boston Dynamics) väliselt ei jagata.

Tehase originaalseadmete tootjate (OEM) jaoks on intellektuaalomandi mureks protsessiga kokkupuude: episood, mis näitab konkreetset kinnituskonfiguratsiooni, tööriista rada või kinnitusdetailide disaini, võib paljastada patenteeritud tootmismeetodeid. Standardne leevendus on visuaalse konteksti eemaldamine efektorseadme tasemele, ainult ühiste trajektooride voogude lisamine (ilma kaameraandmeteta) või manipuleerimistrajektoori sünteetiliste renderduste kasutamine üldise tausta taustal. Mitmed tekkivad konsortsiumimudelid pakuvad õiguslikke raamistikke anonüümsete tööstusandmete esitamiseks vastastikuste konfidentsiaalsuslepingute alusel koos Apache 2.0 andmelitsentsidega.

Stanfordi ülikooli CRFM-i ja tema kaastöötajate 2024. aasta robotite õppimise uuringu analüüsi kohaselt on omandiõigusega kaitstud andmesilod suurim struktuuriline takistus tehisintellekti arengule praegustest võrdlusalustest kaugemale. Tööstuslikud originaalseadmete tootjad (OEM-id), kes praegu arendavad sisemisi andmehalduse raamistikke, on valmis osalema andmekogumite konsortsiumides, kui need programmid järgmise 18–24 kuu jooksul ametlikuks muutuvad.

Kuidas tehase originaalseadmete tootjad saavad andmeid jagada

Tööstusautomaatika tarnijad (sh FANUC, ABB, KUKA ja sertifitseeritud võtmed kätte integraatorid nagu EVST) asuvad robotiriistvara ja reaalsete tootmiskeskkondade ristumiskohas. See positsioon teeb neist loomulikud panustajad kehastunud tehisintellekti andmete ökosüsteemi, kui on olemas toimiv ja õiguslik raamistik.

Pilootrakud teleoperatsiooni kattega

Kõige ligipääsetavam sisenemispunkt on pilootrakk, kus tootmisrobotile paigaldatakse teleoperatsiooni kattekiht: juht-järgija käsi, mida operaator kasutab tootmisülesande variatsioonide demonstreerimiseks. Neid demonstratsioone kogutakse väikese mahuga (50–500 episoodi) ja need on piisavad eelnevalt treenitud VLA-mudeli peenhäälestamiseks konkreetse tootmisülesande järgi. Pilootraku lähenemisviis ei nõua tootmisraja ohutussertifikaadi muutmist, kuna teleoperatsioonisüsteem toimib robotikontrolleri sisendseadmena, mitte paralleelse juhtimisteena.

Tootmisrobotite moderniseerimine logimise abil

Olemasolevaid tootmisroboteid saab moderniseerida kergete logimismoodulitega, mis salvestavad liigeste olekut, efektorpea asendit ja haaratsi jõudu EtherCATi kiirusel, kirjutades ajatempliga episoodifaile tootmisprotsesside ajal servaserverisse. See ei nõua roboti juhtimisprogrammi muutmist. Logitud andmed jäädvustavad tegelikku tootmise manipuleerimise käitumist, mis on ülesandele esinduslikum kui laboridemonstratsioonid. EVST tööstuskontrollerid, mis töötavad 1 kHz EtherCATi tsükliaegadel ja on sertifitseeritud vastavalt CE/SGS/TUV standarditele, pakuvad deterministlikku ajastusarhitektuuri, millel see logimismeetod põhineb. Andmeid saab puhastada, anonüümseks muuta ja vormindada standardsete robotiõppe raamistike jaoks ilma kalli taasintegreerimistööta.

Anonüümse andmestiku programmis osalemine

Tärkavad OEM-andmestike programmid (sealhulgas AgiBot Worldi avatud panuse rada ja mitmed konsortsiumi arutelud ICRA 2025-l) aktsepteerivad anonümiseeritud tööstusliku manipuleerimise andmeid. IATF16949 sertifikaadiga OEM-idel, nagu EVST-l, on olemasolevad kvaliteedijuhtimise protsessid, mis vastavad hästi nende programmide määratletud metaandmete terviklikkuse nõuetele: jälgitavad ajatemplid, dokumenteeritud kogumisprotokollid ja valideeritud andurite kalibreerimisandmed.

Globaalne välitegevus kui andmete eelis

OEM-tootja, kellel on väliinsenerid enam kui 100 riigis, saab koguda tehisintellekti abil loodud treeningandmeid tõeliselt mitmekesistest tootmiskeskkondadest (erinevad tooriku geomeetriad, ümbritsevad tingimused, operaatori demograafia ja protsesside variatsioonid). See geograafiline mitmekesisus on väärtuslik, sest sellel põhinevad poliitikad on üldistatavad paremini kui ühe labori või rajatise andmetel põhinevad poliitikad. EVST plahvatuskindlad sertifitseeritud robotid ja täismõõduline 3–800 kg tootevalik tähendavad, et andmete kogumine võib laieneda sellistele keskkondadele nagu keemiline töötlemine, ohtlike materjalide käitlemine ja äärmuslike temperatuuridega tootmine, mida enamik akadeemilisi andmekogumeid üldse ei kata.

Peamised tööstusharu andmepunktid

Rahvusvahelise Robootika Föderatsiooni (IFR) 2024. aasta maailma robootika aruande kohaselt oli 2023. aastal maailmas töös üle 3.9 miljoni tööstusroboti, kuid suurimad avatud robotite manipuleerimise andmekogumid sisaldavad kokku vähem kui 2 miljonit episoodi, mis illustreerib rakendatud riistvara ja saadaolevate treeningandmete vahelist ulatuslõhet. EVST lahendab selle probleemi, uurides moderniseerimise logimise arhitektuure, mis muudavad tootmisrobotite laevastikud passiivseteks andmekogumisvahenditeks.

Open X-Embodimenti artikli (Padalkar jt, Google DeepMind jt, 2023) kohaselt näitasid enam kui 22 robotitüübi ristteostuste andmetel treenitud mudelid mõõdetavalt paremat üldistatavust ootel ülesannete puhul kui mudelid, mis olid treenitud ainult ühe teostusvariandi andmetel. EVST lahendab selle probleemi, struktureerides oma sisemise andmete hindamise raamistiku nii, et see arvestab teostusvariantide mitmekesisust koos episoodide arvuga andmestiku kasulikkuse hindamisel tootmisliini peenhäälestuse hindamiseks.

Mitmete robotiõppe laborite 2024.–2025. aasta tööstusharu vaatluste kohaselt moodustab visuaalse simulatsiooni ja reaalsuse vaheline lõhe enamiku poliitikate ebaõnnestumise juhtudest manipuleerimisülesannetes, mis hõlmavad peegelduvaid või läbipaistvaid objekte, mida standardsed domeeni randomiseerimise tehnikad usaldusväärselt ei kata. EVST tegeleb sellega, jälgides fotorealistlikke simulatsioonitööriistu (täpsemalt NVIDIA Cosmos ja Gaussian Splatting torujuhtmeid) oma tehisintellektiga täiustatud liikumisplaneerimise tegevuskava kandidaatidena täiendavate kihtidena.

Seotud juhendid

Korduma kippuvad küsimused

Miks on kehastunud tehisintellekti andmete kogumine raskem kui keelemudelite andmete kogumine?

Keelemudelid treenivad teksti põhjal, mis on juba tohutul skaalal internetis olemas. Kehastunud tehisintellekti robotid peavad koguma tegevusega seotud sensomotoorseid andmeid: sünkroniseeritud liigeste nurgad, haaramisjõud, kaamerakaadrid ja ülesande kontekst, mis kõik salvestatakse füüsilise manipuleerimise ajal. Neid andmeid veebiskaalas ei eksisteeri ja nende genereerimine on kulukas. Iga teleoperatsiooniga episoodi ühe treeningtrajektoori loomiseks kulub oskuslikul operaatoril tavaliselt 1–10 minutit aega ning kvaliteet halveneb, kui operaator ei ole roboti dünaamikaga tuttav.

Mis vahe on simulatsioonilt reaalsele ülekandel ja domeeni randomiseerimisel roboti treenimisel?

Üldine eesmärk on simulatsioonist reaalsesse ülekanne: treenida poliitikat simulatsioonis ja rakendada seda füüsilisel robotil ilma jõudluse languseta. Domeeni randomiseerimine on üks tehnika selle eesmärgi saavutamiseks. See muudab treeningu ajal juhuslikult simulatsiooniparameetreid – valgustust, tekstuure, hõõrdetegureid, objektide masse –, nii et poliitika õpib tegelema reaalse maailma variatsioonidega, selle asemel, et sobituda üle ühe simuleeritud välimusega. Muude meetodite hulka kuuluvad domeeni kohandamine, fotorealistlik renderdamine (nagu NVIDIA Cosmoses) ja süsteemi tuvastamine.

Mis on Open X-Embodiment ja mitut tüüpi roboteid see hõlmab?

Open X-Embodiment on Google DeepMindi ja 33 teadusasutuse koostöös kokku pandud ulatuslik avatud robotiõppe andmestik. See koondab üle miljoni roboti episoodi enam kui 22 robotiteostuse ulatuses – ühe käega manipulaatorid, kahe käega platvormid, mobiilsed alused ja osavad käed. OXE-l treenitud RT-X mudelid näitasid, et kehastustevaheline treenimine parandab poliitika üldistamist võrreldes ühe kehastusega baasjoontega.

Kuidas saab tehase originaalseadmete tootja (OEM) panustada robotiandmetega tehisintellekti treeningusse ilma omandiõigusega kaitstud protsessi intellektuaalomandit avaldamata?

Kõige praktilisem lähenemisviis on episoodide anonüümne panus: eemaldage protsessi tuvastavad metaandmed (tootenumbrid, kliendi viited, tsükliaja eesmärgid) ja pange sisse ainult ühistrajektoori ja haaratsi oleku voogud. Mitmed andmestikuprogrammid – sealhulgas AgiBot World ja tekkivad OEM-konsortsiumi algatused – aktsepteerivad anonümiseeritud tööstusliku manipuleerimise andmeid Apache 2.0 või CC-BY tingimuste alusel. Deterministlike EtherCAT-ajatemplitega logimise infrastruktuur tagab, et episoodide kvaliteet vastab andmestiku sisestamise standarditele.

Milline teleoperatsioonide andmekogumissüsteem sobib kõige paremini tööstuslike manipuleerimisülesannete jaoks?

Tööstuslikuks manipuleerimiseks on peamised valikud ALOHA 2 (kahe käega juht-järgija käed, odav, avatud lähtekoodiga), UMI (randmele kinnitatav, robotist lahutatud, väga kaasaskantav) ja eksoskeletil põhinev jäädvustamine suurema kandevõimega või kogu keha hõlmavate ülesannete jaoks. Apple Vision Pro või Meta Quest 3 kasutavad VR-seadmed on intuitiivse kahe käega jäädvustamise jaoks populaarsust kogumas, kuid inimese käe kinemaatika roboti liigeseruumi teisendamiseks on vaja torujuhtmete ümbersuunamist. Õige valik sõltub sihtroboti vabadusastmetest, kandevõimest ja sellest, kas ülesanne nõuab kahte kätt.

Viimati värskendatud: aprill 23, 2026

Vaadake meie Kehastatud tehisintellekti lahendused →

Äge! Jaga:

EVST logo
Privaatsuse ülevaade

See veebisait kasutab küpsiseid, et saaksime pakkuda teile parima võimaliku kasutajakogemuse. Prääniku info salvestatakse teie brauserisse ja täidab selliseid funktsioone nagu teid tuvastamine, kui pöördute meie veebisaidile ja aitab meie meeskonnal mõista, millised veebisaidi osad on kõige huvitavamad ja kasulikud.