Colectarea de date pentru IA întrupată: teleoperare, simulare-în-real și seturi de date industriale în 2026

Cuprins

Ultima actualizare: 23 aprilie 2026

Colectarea de date pentru IA întrupată: teleoperare, simulare-în-real și seturi de date industriale în 2026

Datele reprezintă blocajul pentru IA întruchipată, nu calculul. Antrenarea unei politici robotice necesită fluxuri sincronizate de acțiune-stare care pur și simplu nu există la scară de internet. Trei surse satisfac în prezent această cerere. Teleoperarea umană oferă demonstrații de înaltă calitate cu prețul timpului operatorului. Transferul de la simulator la realitate mărește numărul de episoade, dar introduce o diferență de fidelitate. Seturi mari de date deschise reunesc contribuții de la zeci de laboratoare și platforme.

De ce datele reprezintă blocajul întruchipat al inteligenței artificiale

Calculul a urmat o curbă de scalare previzibilă. Clusterele GPU capabile să antreneze modele de tip viziune-limbaj-acțiune (VLA) cu miliarde de parametri sunt accesibile comercial astăzi. Ceea ce nu a fost scalat sunt datele de care au nevoie aceste modele: observații și acțiuni pereche înregistrate în timpul manipulării fizice a robotului, cu suficientă diversitate de sarcini și de forme de realizare pentru a produce politici generalizabile.

Un model lingvistic poate ingera un trilion de token-uri de pe web în câteva săptămâni. Un set de date privind manipularea roboților trebuie generat episod cu episod, fiecare necesitând un robot fizic, un mediu real sau simulat, o definiție a sarcinii și fie un operator uman, fie o demonstrație scriptată. Federația Internațională de Robotică (IFR) estimează că peste 3.9 milioane de roboți industriali funcționau la nivel global în 2024, însă cele mai mari seturi de date deschise privind manipularea conțin aproximativ un milion de episoade. Decalajul nu se reduce rapid.

Provocarea se agravează atunci când se ia în considerare diferența de implementare: o politică antrenată pe un manipulator cu un singur braț cu 6 niveluri de libertate nu se transferă fără probleme către un umanoid bimanual sau către o bază mobilă cu braț. Fiecare nou factor de formă al robotului resetează efectiv cerințele de date. Abordările de segmentare a acțiunilor (unde o politică generează secvențe de acțiuni în mai mulți pași, în loc de pași individuali) reduc latența inferenței, dar nu reduc necesitatea unei acoperiri diverse a antrenamentului.

Conform lucrării Open X-Embodiment (Padalkar și colab., 2023, Google DeepMind și colab.), antrenamentul cross-embodiment pe diverse date despre roboți poate îmbunătăți generalizarea politicilor dincolo de ceea ce oferă seturile de date cu un singur model. EVST abordează acest lucru prin evaluarea calității setului de date cross-embodiment ca parte a procesului său intern de evaluare atunci când selectează planificarea mișcării augmentată de inteligență artificială pentru gama sa completă de roboți de 3-800 kg. Pentru partea hardware a acestei strategii de date, consultați Soluții IA întruchipate EVST, inclusiv roboți umanoizi, mâini dibace de colectare a datelor, roboți patrupezi și platforme pilot pentru dezvoltarea de inteligență artificială întruchipată.

Cele trei surse principale de date: puncte forte și limite

Teleoperarea

Teleoperarea surprinde demonstrații de calitate profesională privind hardware-ul robotului țintă. Operatorul controlează robotul de la distanță, prin intermediul brațelor lider-următor, căștilor VR, costumelor de exoschelet sau interfețelor portabile, în timp ce sistemul înregistrează sincronizat fiecare unghi al articulației, starea cleștelui, citirea forței și cadrul camerei. Deoarece datele provin de la o ființă umană care execută sarcina efectivă pe robotul real, corespondența dintre acțiune și stare este exactă, iar decalajul dintre elementele de realizare este zero.

Limitarea constă în randament. Teleoperatorii calificați produc aproximativ 5-50 de episoade pe oră, în funcție de complexitatea sarcinii, iar calitatea datelor se degradează atunci când operatorii obosesc. Teleoperarea nu se poate scala nici pentru recuperarea în urma unor erori fără o proiectare deliberată a protocolului: dacă operatorii reușesc întotdeauna, politica nu învață niciodată să se recupereze după perturbații.

Transfer de la simulare la realitate

Simulatoarele de fizică (MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet) permit cercetătorilor să genereze milioane de episoade robotice la un cost marginal aproape zero. Un singur cluster GPU poate rula mii de instanțe de simulare paralele peste noapte. Costul apare la implementare: politicile antrenate în simulare eșuează adesea atunci când se confruntă cu dinamica de contact din lumea reală, zgomotul senzorilor și variațiile vizuale pe care simulatorul nu le-a reprodus cu exactitate. Eliminarea acestei diferențe de la simulare la realitate este un domeniu de cercetare activ.

Videoclipuri pe internet și observare pasivă

Modelele mari de limbaj vizual, pre-antrenate pe video de pe internet, aduc o înțelegere generală a scenei, care ajută la fundamentarea sarcinii. Arhitectura pi0 a Inteligenței Fizice și modele similare de VLA utilizează pre-antrenare video pentru a boota abilitățile de manipulare înainte de a regla fin demonstrațiile roboților. Limita este că videoclipul nu oferă etichete de acțiune: un videoclip arată o mână apucând un obiect, dar nu înregistrează forța aplicată sau unghiurile articulațiilor unui braț robotic echivalent. Modelele de dinamică inversă pot deduce parțial acțiuni din videoclip, dar pseudo-etichetele rezultate conțin zgomot.

Hardware și protocoale de teleoperare

Alegerea interfeței de teleoperare influențează atât calitatea datelor, cât și randamentul colectării. Mai jos sunt prezentate cele mai active sisteme în programele de cercetare și comerciale din perioada 2025–2026.

Brațe lider-următor: ALOHA și ALOHA mobil

ALOHA (Un sistem hardware open-source ieftin pentru teleoperare bimanuală) a fost dezvoltat la Stanford și utilizează două brațe lider ieftine pe care operatorul le mișcă manual, în timp ce două brațe follower potrivite pe robot reproduc mișcarea în timp real. Designul bimanual surprinde sarcini cu două mâini pe care sistemele cu un singur braț nu le pot face. ALOHA mobil extinde platforma pe o bază mobilă. ALOHA 2, lansat în 2024, a îmbunătățit fidelitatea urmăririi articulațiilor și ergonomia operatorului. Costul hardware-ului este sub 20,000 de dolari pentru perechea lider-follower, ceea ce a impulsionat adoptarea în zeci de laboratoare academice.

Interfețe montate pe încheietura mâinii: UMI

Interfața Universală de Manipulare (UMI), de la Stanford și Columbia, montează o cameră cu ochi de pește și un encoder pe un dispozitiv de prindere portabil. Operatorul demonstrează fizic sarcina în mediul înconjurător, în timp ce dispozitivul de prindere înregistrează poziția efectorului final și starea de prindere. UMI decuplează colectarea datelor de la robot: demonstrațiile pot fi colectate pe teren și ulterior redirecționate către diferite variante de realizare a robotului. Acest lucru o face deosebit de utilă pentru colectarea datelor de manipulare în mediul real, în afara unui mediu de laborator.

VR și afișaje montate pe cap

Apple Vision Pro și Meta Quest 3 sunt ambele explorate ca interfețe de teleoperare. Atractivitatea constă în urmărirea bimanuală a mâinii cu șase degree (DoF), cu control intuitiv al operatorului. Provocarea inginerească constă în retargetare: cinematica mâinii umane (cinci degete, 27 de articulații) trebuie să se coreleze cu comenzile efectorului final al robotului (de obicei, clești cu 1 DoF sau mâini dibace cu 12-16 DoF). Fără o retargetare atentă, demonstrațiile înregistrate conțin intenția operatorului, dar nu și acțiunile robotului executabile direct.

Exoschelet și captare a întregului corp

Pentru roboții umanoizi care au nevoie de date despre mișcarea întregului corp (inclusiv locomoția combinată cu manipularea), costumele exoschelet captează cinematica întregului corp la rate de eșantionare peste 100 Hz. AgiBot folosește o abordare bazată pe exoschelete pentru colectarea datelor de manipulare a umanoizilor pentru setul său de date AgiBot World. Teleoperarea Fourier GR-1 se bazează în mod similar pe un sistem de captare portabil, adaptat configurației articulațiilor robotului.

Figura și flote comerciale la scară largă

Figure AI operează o flotă proprie de teleoperatori în întreaga sa implementare de producție BMW. Modelul de volantă de date, în care fiecare robot implementat colectează noi episoade care contribuie la antrenament, este, de asemenea, esențial pentru strategia de dezvoltare a Tesla Optimus. Aceste sisteme cu buclă închisă acumulează date industriale într-un ritm pe care seturile de date academice deschise nu îl pot egala.

Comparație platformă de teleoperare

Platformă Dof de câmp capturat Nivel de cost Randament estimat (episoade/oră) Potrivirea întrupării Puterea cheie
ALOHA 2 (Stanford / Trossen) 14 (bimanuale, câte 7 din fiecare) Scăzut (~$15–20k hardware) 10-30 Manipulare bimanuală pe desktop Open-source, dovedit în instruirea privind politicile ACT
UMI (Stanford / Columbia) 6 (efector final + prindere) Foarte scăzut (aparat de aproximativ 500 USD) 20-60 Cu un singur braț, retargetabil Colectare în mediul natural, nu este nevoie de robot
Platforma Apple Vision Pro Până la 52 (repere manuale) Mediu (~$3.5k HMD + rig) 10-25 Mâini bimanuale / dibace Senzație intuitivă pentru operator; feedback audio spațial
Platformă Meta Quest 3 Până la 26 (mână + controler) Mic–Mediu (~$500 HMD + echipament) 10-25 Bază bimanuală / mobilă Cost accesibil; ecosistem de cercetare activ
Exoschelet AgiBot A2 Partea superioară a corpului (~44) Înalt (proprietar) 5-15 Corp umanoid complet Coordonarea întregului corp pentru antrenamentul umanoid
Teleoperator Fourier GR-1 Partea superioară a corpului + mâini (~40) Înalt (proprietar) 5-15 Umanoid GR-1 Cinematică potrivită, zero pierderi de retargetare
Figura flotă proprietară Umanoid complet Foarte ridicat (proprietar) La scară de flotă (nedivulgat) Figura 02 umanoid Volanta cu date în timpul implementării, date din fabrică BMW

Notă: cifrele privind randamentul sunt intervale aproximative, extrase din cercetări publicate și relatări ale cercetătorilor. Abilitățile individuale ale operatorilor și complexitatea sarcinii afectează semnificativ rezultatele.

Seturi de date publice: Open X-Embodiment, DROID, BridgeData, RoboSet, RH20T, AgiBot World

Ecosistemul seturilor de date deschise s-a extins rapid din 2022. Mai jos este o prezentare generală a colecțiilor cele mai citate de la începutul anului 2026.

Open X-Embodiment (OXE) și RT-X

Asamblat de Google DeepMind cu participarea a 33 de instituții, OXE agregă peste 1 milion de episoade pentru peste 22 de tipuri de roboți. Modelele RT-X asociate au demonstrat că antrenamentul pe date combinate din mai multe implementări depășește performanțele de referință ale unei singure implementări în ceea ce privește testele de generalizare. OXE este lansat sub o combinație de licențe CC-BY și Apache 2.0, în funcție de instituția contribuitoare. Accesul se face prin intermediul site-ului web RT-X și al HuggingFace.

Droid

DROID (Distributed Robot Interaction Dataset - Setul de date de interacțiune cu roboți distribuite) a fost colectat în 13 laboratoare de cercetare din America de Nord folosind o configurație standardizată Franka Panda cu o interfață de teleoperare în stil ALOHA. Acesta conține aproximativ 76,000 de episoade de diverse sarcini de manipulare casnice și de masă. Hardware-ul standardizat în toate locațiile face din DROID unul dintre cele mai curate seturi de date de manipulare la scară largă pentru clonarea comportamentului și experimentele RLHF.

BridgeData V2

BridgeData V2, de la UC Berkeley și Stanford, conține aproximativ 60,000 de demonstrații pentru o gamă largă de sarcini de manipulare pe tabletop. Folosește un braț WidowX și este remarcabil pentru diversitatea sarcinilor sale (peste 70 de categorii distincte de sarcini), ceea ce îl face o bază comună de reglare fină pentru modelele VLA. Lansat sub CC-BY 4.0.

RoboSet

RoboSet, de la IIT Delhi și colaboratorii săi, oferă date despre manipularea multi-task în bucătărie, colectate cu un instrument Franka Panda. Acesta include observații RGB-D și adnotări lingvistice pentru fiecare episod. RoboSet este conceput special pentru a sprijini evaluarea politicilor condiționate de limbaj, fiind util pentru testarea generalizării care urmează instrucțiunilor.

RH20T

RH20T (Robot-Human 20 Tasks - 20 de sarcini robot-uman) este un set de date de manipulare la scară largă, bogat în date de contact, care include propriocepție sincronizată a roboților, video RGB, fluxuri de adâncime, tactile și audio. Bogăția multimodală face din RH20T o referință pentru cercetătorii care lucrează la politici care necesită detectarea contactului, nu doar observarea vizuală.

Lumea AgiBot

AgiBot World este un set de date privind manipularea umanoizilor produs de AgiBot, o companie chineză de robotică, folosind canalul său de colectare a datelor bazat pe exoschelete. Acesta se concentrează pe sarcini de manipulare a umanoizilor cu corp complet și reprezintă unul dintre primele seturi de date la scară largă care vizează în mod specific factorii de formă umanoizi la scară industrială. AgiBot World este disponibil sub o licență de cercetare deschisă pentru utilizare necomercială.

Referință pentru setul de date public de IA întruchipată

Setul de date Proprietar / Lider principal Episoade estimate Forme de realizare acoperite Licență Fără efort
Încarnare X deschisă (OXE) Google DeepMind + 33 de parteneri ~1,000,000+ Peste 22 de tipuri de roboți CC-BY / Apache 2.0 (per contribuitor) Site-ul RT-X, HuggingFace
Droid 13 laboratoare nord-americane ~ 76,000 Franka Panda (standardizat) CC BY 4.0 droid-dataset.github.io
BridgeData V2 Universitatea California de Nord Berkeley / Stanford ~ 60,000 Brațul WidowX CC BY 4.0 rail.eecs.berkeley.edu
RoboSet IIT Delhi și colab. ~100,000+ (raportate) Franka Panda CC BY 4.0 Față îmbrățișată
RH20T Multi-instituțional (CN/UE) ~110,000+ (raportate) Mai multe tipuri de brațe CC-BY-NC 4.0 rh20t.github.io
Lumea AgiBot AgiBot (China) ~1,000,000 (țintă) AgiBot umanoid Cercetare deschisă (necomercială) Portalul AgiBot

Numărul de episoade și termenii licenței provin din documente de date și depozite oficiale începând cu începutul anului 2026. Verificați termenii actuali înainte de utilizare.

Stiva Sim-to-Real: Isaac Sim, MuJoCo, Cosmos și Randomizarea Domeniilor

Simularea scalează generarea de date. Întrebarea practică este ce simulator să se utilizeze și cum să se reducă decalajul față de hardware-ul fizic.

MuJoCo

MuJoCo (dinamica multi-articulației cu contact) rămâne standardul pentru cercetarea manipulării bazate pe contact. Motorul său fizic gestionează dinamica corpurilor rigide, contactele moi și sistemele acționate de tendoane cu o eficiență computațională ce permite mii de episoade de antrenament paralel pe un singur cluster GPU. Lansarea open-source sub Google DeepMind în 2022 a accelerat semnificativ adoptarea. Majoritatea clonării comportamentului academic și a benchmark-urilor RLHF utilizează medii MuJoCo.

NVIDIA Isaac Sim și Isaac Lab

Isaac Sim rulează pe platforma Omniverse de la NVIDIA și oferă fizică accelerată de GPU cu randare de înaltă fidelitate. Isaac Lab (anterior OmniIsaacGymEnvs) este framework-ul de învățare prin consolidare construit pe Isaac Sim, optimizat pentru antrenamentul de politici masiv paralele. Un avantaj cheie este randarea fotorealistă: elementele vizuale trasate de traseul ale lui Isaac Sim reduc decalajul domeniului vizual în comparație cu randatoarele simplificate ale MuJoCo, ceea ce este important pentru antrenarea politicilor bazate pe viziune.

NVIDIA Cosmos

Cosmos este platforma NVIDIA pentru modele fundamentale mondiale, anunțată la sfârșitul anului 2024. În loc să simuleze fizica pornind de la principii fundamentale, Cosmos generează videoclipuri fotorealist ale interacțiunilor dintre roboți și obiecte din text sau imagini, antrenate pe seturi mari de date video. Promisiunea este generarea de date de antrenament sintetice care arată suficient de real pentru a reduce decalajul dintre simulare și realitate, fără randomizare manuală a domeniilor. Începând cu începutul anului 2026, Cosmos este explorat de mai multe laboratoare de învățare a roboților ca un strat de augmentare a datelor pe lângă demonstrațiile reale.

Splatting Gaussian și Reconstrucție a Scenei

Reproducerea gaussiană 3D (3D Gaussian Splatting) reconstruiește scene fotorealiste dintr-un set mic de imagini RGB în câteva minute, în loc de ore. Pentru antrenamentul roboților, aceasta înseamnă că un laborator poate scana un nou mediu de lucru, poate reconstrui o scenă gaussiană și poate genera puncte de vedere sau configurații de obiecte noi pentru augmentarea datelor, fără a necesita un simulator de fizică. Această abordare este integrată în mai multe proiecte de tip sim-to-real ca instrument de randomizare a domeniului vizual cu cost redus.

Randomizarea domeniilor și identificarea sistemului

Randomizarea domeniului randomizează parametrii de simulare (texturi ale obiectelor, condiții de iluminare, coeficienți de frecare, rigiditatea articulațiilor robotului) în timpul antrenamentului, forțând politica să fie rezistentă la variații, mai degrabă decât adaptată la o singură configurație simulată. Identificarea sistemului adoptă o abordare complementară: măsoară cu precizie parametrii fizici ai robotului real (masa, inerția, complianța articulațiilor) și utilizează aceste valori în simulare pentru a minimiza decalajul înainte de randomizare.

Învățarea curriculară aplică randomizarea progresiv. O politică se antrenează mai întâi într-o simulare restrânsă și clară, apoi întâlnește treptat mai multe variații pe măsură ce performanța se îmbunătățește. Această abordare etapizată converge adesea mai rapid decât aplicarea randomizării complete de la început.

Compromisuri între calitatea datelor și cantitatea datelor

Mai multe date nu înseamnă neapărat mai bine. Compoziția unui set de date definește ce poate și ce nu poate face o politică antrenată.

Diversitatea sarcinilor contează mai mult decât numărul de episoade atunci când obiectivul este o politică generalistă. Un set de date de 100,000 de episoade din aceeași sarcină de tip „pick-and-place” produce un specialist. Un set de date de 10,000 de episoade distribuite pe 50 de tipuri de sarcini poate produce o politică care se transferă la sarcini noi după câteva ajustări fine.

Diversitatea întrupării este importantă pentru transferul între roboți. Valoarea OXE constă tocmai în faptul că acoperă tipuri de brațe, platforme mobile și mâini dibace. O politică pre-antrenată pe OXE și ajustată fin pe un robot nou are de obicei performanțe mai bune decât una antrenată de la zero doar pe datele aceluiași robot nou, un rezultat consistent în mai multe studii publicate.

Durata episoadelor și recuperarea în urma eșecului sunt subapreciate. Seturile de date colectate de teleoperatori calificați, care rareori eșuează, produc politici care nu știu cum să se recupereze după perturbații. Injectarea deliberată a stărilor de eșec și demonstrațiile de recuperare îmbunătățesc substanțial reziliența în lumea reală. Unele laboratoare folosesc perturbații adverse în timpul sesiunilor de teleoperare pentru a genera aceste date.

Conform observațiilor din industrie din mai multe rapoarte de laboratoare de învățare robotică din perioada 2024–2025, valoarea marginală a episoadelor suplimentare scade brusc odată ce un set de date acoperă o sarcină la aproximativ 500–1,000 de demonstrații, în timp ce valoarea marginală a noilor tipuri de sarcini rămâne ridicată până la mii de sarcini distincte. EVST ia în considerare acest lucru atunci când structurează celulele pilot de captare a datelor, prioritizând amploarea sarcinii față de acumularea de episoade repetitive.

Considerații privind datele de nivel industrial

Colectarea datelor din fabrică impune cerințe pe care configurațiile de teleoperare academică nu le abordează de obicei.

Înregistrarea deterministă este prima cerință. Într-o celulă de producție, marcajul temporal al unei citiri a unui encoder articular trebuie să fie trasabil până la o referință de ceas de perete cu o precizie sub milisecundă. Controlul magistralei de câmp EtherCAT de 1 kHz, standard pe roboții industriali (inclusiv cei din gama EVST), oferă fundația de temporizare deterministă care face ca sincronizarea multi-senzor să fie gestionabilă. Un sistem care rulează la 1 kHz generează 1,000 de eșantioane de stare a articulațiilor pe secundă pe axă; alinierea acestui flux cu cadrele camerei la 30–60 fps și datele forță-cuplu la 500 Hz necesită o arhitectură de marcare temporală hardware disciplinată, nu buffering software.

Etichetele de siguranță sunt necesare atunci când episoadele includ evenimente la limită, activări de oprire de urgență sau încălcări ale limitei de forță. Aceste etichete sunt necesare atât pentru conformitate, cât și pentru politicile de instruire care înțeleg stările relevante pentru siguranță. Controlerele industriale care înregistrează cauzele opririlor de urgență și depășirile cuplului articulațiilor la nivel hardware fac ca această etichetare să fie ușor de gestionat.

Adnotarea timpului de ciclu conectează episoadele robotului la rezultatele fabricației. Știind că episodul 4,712 a finalizat sarcina de asamblare în 8.3 secunde cu zero semnalizatoare de calitate, leagă datele de învățare ale robotului la sistemul MES și permite selectarea demonstrațiilor de înaltă calitate pentru antrenament.

Metadatele legate la MES reprezintă puntea de legătură. Atunci când sistemul de înregistrare a datelor al unui robot scrie fișiere de episoade cu ID-uri de joburi MES, tipuri de piese și rezultate de calitate atașate, setul de date rezultat poate fi filtrat programatic. Episoadele asociate cu refacerea, rebuturile sau suprascrierea operatorului pot fi excluse sau tratate ca demonstrații de defecțiune.

În practică, atunci când se adaptează o celulă pilot pentru captura de date, cel mai frecvent blocaj nu este capacitatea de înregistrare a robotului, ci arhitectura rețelei celulei. Segmentele de rețea industriale care au fost proiectate pentru comunicarea PLC-robot la rate sub kHz nu sunt întotdeauna dimensionate pentru lățimea de bandă a fluxurilor video continue multi-cameră plus propriocepție. O celulă care rulează două camere 1080p la 30 fps plus date de forță pe șase axe plus stările articulațiilor generează aproximativ 150-300 MB pe minut de date brute ale episoadelor. Planificarea infrastructurii de stocare și de rețea înainte de implementare evită costurile de modernizare ulterioare.

Etichetarea conductelor și a sculelor

Înregistrările brute ale episoadelor nu sunt pregătite pentru antrenament. Acestea necesită adnotări lingvistice, măști de segmentare a obiectelor și, în unele cazuri, etichete de recompensă.

Adnotare lingvistică

Modelele VLA condiționate de limbaj necesită o descriere în limbaj natural a sarcinii fiecărui episod. Pentru seturi de date mici, acest lucru se face manual; pentru seturi de date peste 10,000 de episoade, devine necesară adnotarea automată folosind modele vizual-limbaj (GPT-4V, Gemini sau modele specializate de subtitrare). Controlul calității necesită o revizuire umană a unui eșantion pentru a detecta erorile sistematice din auto-anotator.

Segmentarea și urmărirea obiectelor

Politicile care analizează starea obiectelor beneficiază de măști de segmentare per episod care identifică obiectele manipulate. Segment Anything Model (SAM 2) de la Meta face segmentarea interactivă ușor de gestionat la scară de set de date, reducând timpul de adnotare de la ore la minute per episod atunci când este combinată cu o trecere de propagare a urmăririi.

Modelarea recompenselor pentru RLHF

Când episoadele includ atât demonstrații de succes, cât și de eșec, etichetarea recompenselor permite învățarea prin întărire din reglajul fin al feedback-ului uman (RLHF). Adnotatorii umani clasifică rezultatele episoadelor, iar aceste preferințe antrenează un model de recompensă care modelează actualizările politicilor. Această pipeline este utilizată în dezvoltarea pi0 a Inteligenței Fizice și este explorată pentru antrenamentul sarcinilor industriale, unde etichetele binare de succes/eșec sunt deja disponibile din MES.

Confidențialitate, IP și licențiere de seturi de date

Contribuțiile la seturile de date deschise ridică probleme de proprietate intelectuală pe care producătorii de echipamente originale industriale trebuie să le rezolve înainte de a participa.

Principalele categorii de licențe utilizate sunt CC-BY (atribuire obligatorie, utilizare comercială permisă), CC-BY-NC (doar necomercială) și Apache 2.0 (permisiv, inclusiv utilizare comercială și redistribuire a ponderării modelului). Seturile de date proprietare (Tesla Optimus, datele flotei Figure, Boston Dynamics) nu sunt partajate extern.

Pentru producătorii de echipamente originale (OEM), preocuparea legată de proprietate intelectuală este expunerea procesului: un episod care prezintă o configurație specifică de jigging, o traiectorie a sculei sau un design al fixării poate dezvălui metode de fabricație proprietare. Atenuarea standard este de a elimina contextul vizual la nivelul efectorului final, de a contribui doar cu fluxuri de traiectorie comună (fără date de la cameră) sau de a utiliza randări sintetice ale traiectoriei de manipulare pe un fundal generic. Mai multe modele de consorțiu emergente oferă cadre legale pentru contribuția anonimizată a datelor industriale în baza unor acorduri reciproce de confidențialitate, combinate cu licențe de date Apache 2.0.

Conform analizei realizate de Stanford CRFM și colaboratorii săi în cadrul studiului privind învățarea robotică din 2024, silozurile de date proprietare reprezintă cea mai mare barieră structurală în calea progresului IA întrupată dincolo de standardele actuale. Producătorii de echipamente originale industriale care dezvoltă acum cadre interne de guvernanță a datelor vor fi poziționați să participe la consorții de seturi de date, pe măsură ce aceste programe se formalizează în următoarele 18-24 de luni.

Cum pot producătorii de echipamente originale (OEM) să contribuie cu date

Furnizorii de automatizări industriale (inclusiv FANUC, ABB, KUKA și integratori certificați la cheie, cum ar fi EVST) se află la intersecția dintre hardware-ul roboților și mediile de producție reale. Această poziție îi face contribuitori naturali la ecosistemul de date al inteligenței artificiale integrate, dacă există cadrul operațional și legal necesar.

Celule pilot cu suprapunere de teleoperare

Cel mai accesibil punct de intrare este o celulă pilot unde robotul de producție este echipat cu o suprapunere de teleoperare: un braț lider-următor pe care un operator îl folosește pentru a demonstra variații ale sarcinii de producție. Aceste demonstrații sunt colectate la volum redus (50-500 de episoade) și sunt suficiente pentru reglarea fină a unui model VLA pre-antrenat pe sarcina de producție specifică. Abordarea celulei pilot nu necesită modificări ale certificării de siguranță a celulei de producție, deoarece sistemul de teleoperare funcționează ca un dispozitiv de intrare pentru controlerul robotului, nu ca o cale de control paralelă.

Modernizarea exploatării forestiere pe roboții de producție

Roboții de producție existenți pot fi modernizați cu module de înregistrare ușoare care înregistrează starea articulației, poziția efectorului final și forța de prindere la rate EtherCAT, scriind fișiere de episoade cu marcaj temporal pe un server de la marginea producției în timpul rulărilor. Acest lucru nu necesită nicio modificare a programului de control al robotului. Datele înregistrate surprind comportamentul real de manipulare a producției, care este mai reprezentativ pentru sarcină decât demonstrațiile de laborator. Controlerele industriale EVST, care funcționează la timpi de ciclu EtherCAT de 1 kHz și sunt certificate conform standardelor CE/SGS/TUV, oferă arhitectura de temporizare deterministă de care depinde această abordare de înregistrare. Datele pot fi curățate, anonimizate și formatate pentru cadre standard de învățare a roboților, fără lucrări costisitoare de reintegrare.

Participarea la programul de seturi de date anonimizate

Programele emergente de seturi de date OEM (inclusiv pista deschisă de contribuții a AgiBot World și mai multe discuții ale consorțiului la ICRA 2025) acceptă date de manipulare industrială anonimizate. Producătorii de echipamente originale cu certificare IATF16949, precum EVST, au deja procese de management al calității care se traduc bine în cerințele de integritate a metadatelor specificate de aceste programe: marcaje temporale trasabile, protocoale de colectare documentate și înregistrări validate de calibrare a senzorilor.

Acoperirea globală a terenului ca avantaj în materie de date

Un producător de echipamente originale (OEM) cu ingineri de teren în peste 100 de țări poate colecta date de instruire privind inteligența artificială (IA) din medii de fabricație cu adevărat diverse (geometrii diferite ale pieselor de prelucrat, condiții ambientale, date demografice ale operatorilor și variații ale procesului). Această diversitate geografică este valoroasă deoarece politicile instruite pe baza acesteia generalizează mai bine decât cele instruite pe baza datelor dintr-un singur laborator sau unitate. Roboții certificați antiexplozie ai EVST și gama completă de roboți de 3-800 kg înseamnă că colectarea datelor se poate extinde la medii precum procesarea chimică, manipularea materialelor periculoase și fabricația la temperaturi extreme, pe care majoritatea seturilor de date academice nu le acoperă deloc.

Puncte cheie de date din industrie

Conform raportului World Robotics 2024 al Federației Internaționale de Robotică (IFR), peste 3.9 milioane de roboți industriali erau în funcțiune la nivel global în 2023, însă cele mai mari seturi de date deschise privind manipularea roboților conțin mai puțin de 2 milioane de episoade combinate, ilustrând decalajul de scară dintre hardware-ul implementat și datele de antrenament disponibile. EVST abordează acest lucru prin explorarea arhitecturilor de înregistrare a datelor de modernizare care transformă flotele de roboți de producție în active pasive de colectare a datelor.

Conform studiului Open X-Embodiment (Padalkar și colab., Google DeepMind și colab., 2023), modelele antrenate pe date de la peste 22 de tipuri de roboți au arătat o generalizare mult mai bună asupra sarcinilor așteptate decât modelele antrenate doar pe datele oricărei singure implementări. EVST abordează acest lucru prin structurarea cadrului său intern de evaluare a datelor pentru a pondera diversitatea implementărilor alături de numărul de episoade atunci când evaluează utilitatea setului de date pentru evaluările de reglare fină ale liniei de producție.

Conform observațiilor din industrie efectuate de mai multe laboratoare de învățare robotică în perioada 2024-2025, decalajul dintre simularea vizuală și realitate explică majoritatea cazurilor de eșec al politicilor în sarcinile de manipulare care implică obiecte speculare sau transparente, pe care tehnicile standard de randomizare a domeniilor nu le acoperă în mod fiabil. EVST abordează acest lucru prin monitorizarea instrumentelor de simulare fotorealiste (în special a conductelor NVIDIA Cosmos și Gaussian Splatting) ca straturi de augmentare candidate pentru foaia sa de parcurs pentru planificarea mișcării îmbunătățită cu inteligență artificială.

Ghiduri conexe

Întrebări frecvente

De ce este mai dificilă colectarea datelor de inteligență artificială întrupată decât colectarea datelor pentru modele lingvistice?

Modelele lingvistice se antrenează pe baza unui text care există deja pe internet la scară enormă. Roboții cu inteligență artificială întrupată trebuie să colecteze date senzoriomotorii asociate acțiunilor: unghiuri articulare sincronizate, forțe de prindere, cadre ale camerei și contextul sarcinii, toate înregistrate în timpul manipulării fizice. Aceste date nu există la scară web și sunt costisitoare de generat. Fiecare episod teleoperat necesită de obicei 1-10 minute de timp din partea unui operator calificat pentru a produce o singură traiectorie de antrenament, iar calitatea se degradează dacă operatorul nu este familiarizat cu dinamica robotului.

Care este diferența dintre transferul de la simulare la realitate și randomizarea domeniului în antrenamentul roboților?

Transferul de la simulare la realitate este obiectivul general: antrenarea unei politici în simulare și implementarea ei pe un robot fizic fără o scădere a performanței. Randomizarea domeniului este o tehnică pentru atingerea acestui obiectiv. Aceasta variază aleatoriu parametrii simulării - iluminarea, texturile, coeficienții de frecare, masele obiectelor - în timpul antrenamentului, astfel încât politica să învețe să gestioneze variațiile din lumea reală, în loc să se supraadapteze la o singură aparență simulată. Alte metode includ adaptarea domeniului, randarea fotorealistă (ca în NVIDIA Cosmos și identificarea sistemului.

Ce este Open X-Embodiment și câte tipuri de roboți acoperă?

Open X-Embodiment este un set de date deschis la scară largă privind învățarea roboților, asamblat de Google DeepMind cu 33 de instituții de cercetare contribuitoare. Acesta agregă peste 1 milion de episoade robotice în peste 22 de variante de roboți - manipulatori cu un singur braț, platforme bimanuale, baze mobile și mâini dibace. Modelele RT-X antrenate pe OXE au demonstrat că antrenamentul cu variante încrucișate îmbunătățește generalizarea politicilor în comparație cu liniile de bază cu o singură variantă de realizare.

Cum poate un producător de echipamente originale (OEM) să contribuie cu date despre roboți la antrenamentul integrat al inteligenței artificiale fără a expune proprietatea intelectuală a proceselor proprietare?

Cea mai practică abordare este contribuția anonimizată a episoadelor: se elimină metadatele de identificare a procesului (numerele de piese, referințele clienților, țintele de timp ale ciclului) și se contribuie doar cu fluxurile de traiectorie a îmbinărilor și starea gripperului. Mai multe programe de seturi de date - inclusiv AgiBot World și inițiativele emergente ale consorțiului OEM - acceptă date de manipulare industrială anonimizate în conformitate cu termenii Apache 2.0 sau CC-BY. Infrastructura de înregistrare în jurnal cu marcaje temporale deterministe EtherCAT asigură că episoadele respectă standardele de admisie a setului de date.

Ce sistem de colectare a datelor prin teleoperare funcționează cel mai bine pentru sarcinile de manipulare industrială?

Pentru manipularea industrială, principalele opțiuni sunt ALOHA 2 (brațe bimanuale lider-următor, cost redus, open-source), UMI (montat pe încheietura mâinii, decuplat de robot, extrem de portabil) și captura bazată pe exoschelet pentru sarcini cu sarcină utilă mai mare sau care implică întregul corp. Platformele VR care utilizează Apple Vision Pro sau Meta Quest 3 câștigă teren pentru captura bimanuală intuitivă, dar necesită conducte de retargetare pentru a traduce cinematica mâinii umane în spațiul articular al robotului. Alegerea corectă depinde de gradele de libertate ale robotului țintă, de sarcina utilă și de necesitatea existenței ambelor mâini pentru îndeplinirea sarcinii.

Ultima actualizare: 23 aprilie 2026

vezi Soluții de inteligență artificială întruchipate →

Minunat! Distribuie la:

Sigla EVST
Prezentarea generală a confidențialității

Acest site utilizează cookie-uri pentru a vă oferi cea mai bună experiență de utilizare posibilă. Informațiile cookie sunt stocate în browserul dvs. și efectuează funcții cum ar fi recunoașterea dvs. atunci când vă întoarceți pe site-ul nostru și ajutând echipa noastră să înțeleagă ce secțiuni ale site-ului le găsiți cele mai interesante și mai utile.