Ultimo Aggiornamento: aprile 23, 2026
Raccolta dati per l'IA incarnata: teleoperazione, simulazione-reale e set di dati industriali nel 2026
Il collo di bottiglia per l'intelligenza artificiale incarnata non è la potenza di calcolo, ma i dati. Addestrare una politica robotica richiede flussi sincronizzati di azioni e stati che semplicemente non esistono su scala internet. Attualmente, tre fonti soddisfano questa esigenza. La teleoperazione umana produce dimostrazioni di alta qualità a scapito del tempo dell'operatore. Il trasferimento dalla simulazione alla realtà aumenta il numero di episodi, ma introduce un divario di fedeltà. I grandi dataset aperti raccolgono i contributi di decine di laboratori e piattaforme.
Perché i dati rappresentano il collo di bottiglia dell'IA incarnata
La potenza di calcolo ha seguito una curva di scalabilità prevedibile. Oggi sono disponibili in commercio cluster di GPU in grado di addestrare modelli di visione-linguaggio-azione (VLA) con miliardi di parametri. Ciò che non si è adattato a questa crescita sono i dati necessari a tali modelli: osservazioni e azioni accoppiate, registrate durante la manipolazione fisica del robot, con una diversità di compiti e di incarnazione sufficiente a produrre politiche generalizzabili.
Un modello linguistico può acquisire un trilione di token dal web in poche settimane. Un dataset per la manipolazione robotica deve essere generato episodio per episodio, ognuno dei quali richiede un robot fisico, un ambiente reale o simulato, la definizione di un compito e un operatore umano o una dimostrazione scriptata. La Federazione Internazionale di Robotica (IFR) stima che nel 2024 fossero operativi a livello globale oltre 3.9 milioni di robot industriali, eppure i più grandi dataset di manipolazione aperti contengono circa un milione di episodi. Il divario non si sta riducendo rapidamente.
La sfida si complica ulteriormente se si considera il divario di incarnazione: una politica addestrata su un manipolatore a braccio singolo a 6 gradi di libertà non si trasferisce in modo pulito a un umanoide bimanuale o a una base mobile con un braccio. Ogni nuovo fattore di forma del robot, di fatto, azzera i requisiti dei dati. Gli approcci di chunking delle azioni (in cui una politica produce sequenze di azioni a più fasi anziché singole fasi) riducono la latenza di inferenza, ma non riducono la necessità di una copertura di addestramento diversificata.
Secondo il documento Open X-Embodiment (Padalkar et al., 2023, Google DeepMind et al.), l'addestramento cross-embodiment su dati robotici eterogenei può migliorare la generalizzazione delle politiche oltre quanto fornito dai dataset a singola incarnazione. EVST affronta questo problema valutando la qualità dei dataset cross-embodiment come parte del suo processo di valutazione interno quando seleziona la pianificazione del movimento aumentata dall'IA per la sua gamma completa di robot da 3 a 800 kg. Per il lato hardware di questa strategia dati, vedere Soluzioni di intelligenza artificiale incarnata EVST, tra cui robot umanoidi, mani destre per la raccolta dati, robot quadrupedi e piattaforme pilota per lo sviluppo dell'intelligenza artificiale incarnata.
Le tre principali fonti di dati: punti di forza e limiti
teleoperazione
La teleoperazione consente di realizzare dimostrazioni di livello professionale direttamente sull'hardware del robot. L'operatore controlla il robot da remoto, tramite bracci robotici, visori VR, esoscheletri o interfacce portatili, mentre il sistema registra in sincronia ogni angolo di articolazione, stato della pinza, lettura della forza e fotogramma della telecamera. Poiché i dati provengono da un essere umano che esegue effettivamente il compito sul robot reale, la corrispondenza tra azione e stato è esatta e il divario tra interazione e implementazione è nullo.
Il limite principale è la velocità di elaborazione. I teleoperatori qualificati producono circa 5-50 episodi all'ora, a seconda della complessità del compito, e la qualità dei dati si degrada quando gli operatori si affaticano. Inoltre, la teleoperazione non è scalabile per il ripristino in caso di guasto senza una progettazione specifica del protocollo: se gli operatori hanno sempre successo, il sistema non impara mai a riprendersi dalle perturbazioni.
Trasferimento da Sim a Reale
I simulatori di fisica (MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet) consentono ai ricercatori di generare milioni di episodi robotici a un costo marginale pressoché nullo. Un singolo cluster GPU può eseguire migliaia di istanze di simulazione in parallelo durante la notte. Il costo si manifesta al momento dell'implementazione: le politiche addestrate in simulazione spesso falliscono quando si confrontano con le dinamiche di contatto del mondo reale, il rumore dei sensori e le variazioni visive che il simulatore non ha replicato accuratamente. Colmare questo divario tra simulazione e realtà è un'area di ricerca attiva.
Video su Internet e osservazione passiva
I modelli di linguaggio visivo di grandi dimensioni, pre-addestrati su video online, forniscono una comprensione generale della scena che aiuta a definire i compiti. L'architettura pi0 di Physical Intelligence e progetti VLA simili utilizzano il pre-addestramento video per inizializzare le capacità di manipolazione prima di perfezionarle con dimostrazioni robotiche. Il limite è che il video non fornisce etichette di azione: un video mostra una mano che afferra un oggetto, ma non registra la forza applicata o gli angoli delle articolazioni di un braccio robotico equivalente. I modelli di dinamica inversa possono inferire parzialmente le azioni dal video, ma le pseudo-etichette risultanti sono rumorose.
Hardware e protocolli per la teleoperazione
La scelta dell'interfaccia di teleoperazione influisce sia sulla qualità dei dati che sulla velocità di raccolta. Di seguito sono elencati i sistemi più attivi nei programmi di ricerca e commerciali 2025-2026.
Bracci leader-seguaci: ALOHA e ALOHA mobile
ALOHA (A Low-cost Open-source Hardware System for Bimanual Teleoperation) è stato sviluppato a Stanford e utilizza due bracci leader economici che l'operatore muove manualmente, mentre due bracci follower abbinati sul robot replicano il movimento in tempo reale. Il design bimanuale permette di eseguire compiti che richiedono l'uso di entrambe le mani, cosa impossibile con i sistemi a braccio singolo. ALOHA Mobile estende la piattaforma a una base mobile. ALOHA 2, rilasciato nel 2024, ha migliorato la precisione del tracciamento delle articolazioni e l'ergonomia per l'operatore. Il costo dell'hardware è inferiore a 20,000 dollari per la coppia leader-follower, il che ha favorito l'adozione del sistema in decine di laboratori accademici.
Interfacce montate al polso: UMI
L'Universal Manipulation Interface (UMI), sviluppata da Stanford e Columbia, monta una telecamera fisheye e un encoder su una pinza portatile. L'operatore dimostra fisicamente l'operazione nell'ambiente, mentre la pinza registra la posizione dell'effettore finale e lo stato di presa. L'UMI svincola la raccolta dati dal robot: le dimostrazioni possono essere effettuate sul campo e successivamente riadattate a diverse configurazioni del robot. Ciò la rende particolarmente utile per la raccolta di dati di manipolazione in contesti reali, al di fuori di un ambiente di laboratorio.
Realtà virtuale e visori per realtà virtuale
Apple Vision Pro e Meta Quest 3 sono entrambi in fase di studio come interfacce per la teleoperazione. Il vantaggio principale è il tracciamento bimanuale della mano a sei gradi di libertà con un controllo intuitivo da parte dell'operatore. La sfida ingegneristica consiste nel riadattare i comandi: la cinematica della mano umana (cinque dita, 27 articolazioni) deve essere mappata sui comandi dell'effettore finale del robot (tipicamente pinze a 1 grado di libertà o mani robotiche con 12-16 gradi di libertà). Senza un accurato riadattare i comandi, le dimostrazioni registrate contengono l'intento dell'operatore ma non azioni robotiche direttamente eseguibili.
Esoscheletro e acquisizione di immagini dell'intero corpo
Per i robot umanoidi che necessitano di dati di movimento dell'intero corpo (inclusa la locomozione combinata con la manipolazione), gli esoscheletri catturano la cinematica dell'intero corpo a frequenze di campionamento superiori a 100 Hz. AgiBot utilizza un approccio basato su esoscheletri per la raccolta di dati di manipolazione umanoide per il suo dataset AgiBot World. Anche il sistema di teleoperazione Fourier GR-1 si basa su un dispositivo di acquisizione indossabile adattato alla configurazione articolare del robot.
Flotte commerciali di grandi dimensioni e di grandi dimensioni
Figure AI gestisce una flotta proprietaria di sistemi di teleoperazione all'interno del suo stabilimento di produzione BMW. Il modello di "volano dei dati", in cui ogni robot installato raccoglie nuovi episodi che vengono poi utilizzati per l'addestramento, è fondamentale anche per la strategia di sviluppo di Tesla Optimus. Questi sistemi a ciclo chiuso accumulano dati industriali a una velocità che i dataset accademici aperti non possono eguagliare.
Confronto tra piattaforme di teleoperazione
| Piattaforma | Profondità di campo catturata | Livello di costo | Capacità di trasmissione stimata (episodi/ora) | Vestibilità dell'incarnazione | Forza chiave |
|---|---|---|---|---|---|
| ALOHA 2 (Stanford / Trossen) | 14 (bimanuali, 7 per lato) | Basso (hardware da circa 15-20 dollari) | 10-30 | Manipolazione bimanuale del desktop | Software open-source, collaudato nella formazione sulle politiche ACT. |
| UMI (Stanford/Columbia) | 6 (effettore finale + presa) | Molto economico (circa 500 dollari per l'attrezzatura) | 20-60 | Braccio singolo, riorientabile | Raccolta in natura, senza bisogno di robot |
| Apple Vision Pro rig | Fino a 52 (punti di riferimento della mano) | Medio (circa 3.5 dollari: visore + supporto) | 10-25 | Mani bimanuali/destre | Comandi intuitivi; feedback audio spaziale |
| Configurazione Meta Quest 3 | Fino a 26 (mano + controller) | Basso-Medio (circa 500 dollari HMD + supporto) | 10-25 | Bimanuale / base mobile | Costi accessibili; ecosistema di ricerca attivo |
| Esoscheletro AgiBot A2 | Parte superiore del corpo intera (~44) | Alto (proprietario) | 5-15 | corpo intero umanoide | Coordinazione di tutto il corpo per l'addestramento di umanoidi |
| Teleoperazione Fourier GR-1 | Parte superiore del corpo + mani (~40) | Alto (proprietario) | 5-15 | Umanoide GR-1 | Cinematica corrispondente, nessuna perdita di retargeting |
| Flotta proprietaria di figura | Umanoide completo | Molto alto (proprietario) | Su scala di flotta (non divulgata) | Figura 02 umanoide | Volano dei dati di implementazione, dati di fabbrica BMW |
Nota: i dati relativi alla produttività sono intervalli approssimativi ricavati da ricerche pubblicate e resoconti dei ricercatori. L'abilità del singolo operatore e la complessità del compito influenzano significativamente i risultati.
Dataset pubblici: Open X-Embodiment, DROID, BridgeData, RoboSet, RH20T, AgiBot World
L'ecosistema dei dataset aperti si è espanso rapidamente dal 2022. Di seguito una panoramica delle raccolte più citate all'inizio del 2026.
Open X-Embodiment (OXE) e RT-X
Assemblato da Google DeepMind con il contributo di 33 istituzioni, OXE raccoglie oltre 1 milione di episodi relativi a più di 22 tipologie di robot. I modelli RT-X associati hanno dimostrato che l'addestramento su dati aggregati tra diverse tipologie di robot offre prestazioni superiori rispetto ai modelli di riferimento basati su singole tipologie di robot nei benchmark di generalizzazione. OXE è rilasciato con licenze miste CC-BY e Apache 2.0, a seconda dell'istituzione che ha contribuito. L'accesso è possibile tramite il sito web di RT-X e HuggingFace.
DROID
DROID (Distributed Robot Interaction Dataset) è stato raccolto in 13 laboratori di ricerca nordamericani utilizzando una configurazione standardizzata di Franka Panda con un'interfaccia di teleoperazione in stile ALOHA. Contiene circa 76,000 episodi di diverse attività di manipolazione domestica e su tavolo. L'hardware standardizzato tra i vari siti rende DROID uno dei dataset di manipolazione su larga scala più puliti per la clonazione del comportamento e gli esperimenti RLHF.
BridgeData V2
BridgeData V2, sviluppato da UC Berkeley e Stanford, contiene circa 60,000 dimostrazioni relative a un'ampia varietà di attività di manipolazione su un piano di lavoro. Utilizza un braccio robotico WidowX ed è notevole per la diversità delle attività (oltre 70 categorie distinte), il che lo rende un punto di riferimento comune per la messa a punto dei modelli VLA. Rilasciato sotto licenza CC-BY 4.0.
RoboSet
RoboSet, sviluppato dall'IIT Delhi e dai suoi collaboratori, fornisce dati multi-task relativi alla manipolazione di oggetti in cucina, raccolti con una Franka Panda. Il set di dati include osservazioni RGB-D e annotazioni linguistiche per ogni episodio. RoboSet è progettato specificamente per supportare la valutazione di politiche condizionate dal linguaggio, risultando utile per testare la generalizzazione del comportamento in risposta alle istruzioni.
RH20T
RH20T (Robot-Human 20 Tasks) è un dataset di manipolazione su larga scala ricco di interazioni tattili, che include propriocezione robotica sincronizzata, video RGB, dati di profondità, tattili e audio. La ricchezza multimodale rende RH20T un punto di riferimento per i ricercatori che lavorano su politiche che richiedono la rilevazione delle interazioni tattili, e non solo l'osservazione visiva.
AgiBot World
AgiBot World è un dataset per la manipolazione di robot umanoidi prodotto da AgiBot, un'azienda robotica cinese, utilizzando la sua pipeline di raccolta dati basata su esoscheletri. Si concentra su compiti di manipolazione di robot umanoidi a corpo intero e rappresenta uno dei primi dataset su larga scala specificamente progettati per la modellazione di robot umanoidi su scala industriale. AgiBot World è disponibile con una licenza di ricerca aperta per uso non commerciale.
Riferimento al dataset pubblico sull'intelligenza artificiale incarnata
| dataset | Proprietario/Responsabile | Episodi stimati | Esempi di realizzazione coperti | Licenza | accesso a |
|---|---|---|---|---|---|
| Incarnazione X aperta (OXE) | Google DeepMind + 33 partner | ~1,000,000+ | Oltre 22 tipi di robot | CC-BY / Apache 2.0 (per autore) | Sito RT-X, HuggingFace |
| DROID | 13 laboratori nordamericani | ~ 76,000 | Franka Panda (standardizzato) | CC DI 4.0 | droid-dataset.github.io |
| BridgeData V2 | UC Berkeley / Stanford | ~ 60,000 | Braccio di WidowX | CC DI 4.0 | rail.eecs.berkeley.edu |
| RoboSet | IIT Delhi e altri | Circa 100,000+ (secondo i dati riportati) | Franka Panda | CC DI 4.0 | abbracciare il viso |
| RH20T | Multi-istituzionale (CN/UE) | Circa 110,000+ (secondo i dati riportati) | Diversi tipi di braccio | CC-BY-NC 4.0 | rh20t.github.io |
| AgiBot World | AgiBot (Cina) | ~1,000,000 (obiettivo) | Umanoide AgiBot | Ricerca aperta (non commerciale) | Portale AgiBot |
Il numero di episodi e i termini di licenza sono tratti da documenti relativi al dataset e da repository ufficiali aggiornati all'inizio del 2026. Verificare i termini correnti prima dell'utilizzo.
Stack Sim-to-Real: Isaac Sim, MuJoCo, Cosmos e Domain Randomization
La simulazione permette di scalare la generazione dei dati. La questione pratica è quale simulatore utilizzare e come colmare il divario con l'hardware fisico.
MuJoCo
MuJoCo (Multi-Joint dynamics with Contact) rimane lo standard per la ricerca sulla manipolazione con interazioni complesse. Il suo motore fisico gestisce la dinamica dei corpi rigidi, i contatti morbidi e i sistemi azionati da tendini con un'efficienza computazionale che consente migliaia di episodi di addestramento in parallelo su un singolo cluster GPU. Il rilascio open-source nell'ambito di Google DeepMind nel 2022 ha accelerato significativamente la sua adozione. La maggior parte dei benchmark accademici di clonazione comportamentale e RLHF utilizza ambienti MuJoCo.
NVIDIA Isaac Sim e Isaac Lab
Isaac Sim funziona sulla piattaforma Omniverse di NVIDIA e offre una fisica accelerata dalla GPU con rendering ad alta fedeltà. Isaac Lab (precedentemente OmniIsaacGymEnvs) è il framework di apprendimento per rinforzo basato su Isaac Sim, ottimizzato per l'addestramento massivamente parallelo delle policy. Un vantaggio fondamentale è il rendering fotorealistico: la grafica basata sul path tracing di Isaac Sim riduce il divario nel dominio visivo rispetto ai renderer semplificati di MuJoCo, aspetto importante per l'addestramento di policy basate sulla visione.
Cosmo di NVIDIA
Cosmos è la piattaforma di modellazione di base di NVIDIA, annunciata alla fine del 2024. Invece di simulare la fisica partendo dai principi fondamentali, Cosmos genera video fotorealistici di interazioni tra robot e oggetti a partire da input testuali o immagini, addestrati su grandi dataset video. La promessa è quella di generare dati di addestramento sintetici che appaiano sufficientemente realistici da colmare il divario visivo tra simulazione e realtà senza ricorrere alla randomizzazione manuale del dominio. All'inizio del 2026, Cosmos veniva già esplorato da diversi laboratori di robotica come livello di aumento dei dati da aggiungere a dimostrazioni reali.
Splatting gaussiano e ricostruzione della scena
La tecnica 3D Gaussian Splatting ricostruisce scene fotorealistiche a partire da un piccolo insieme di immagini RGB in pochi minuti anziché in ore. Nell'ambito dell'addestramento dei robot, ciò significa che un laboratorio può scansionare un nuovo ambiente di lavoro, ricostruire una scena gaussiana e generare nuovi punti di vista o configurazioni di oggetti per l'aumento dei dati, senza la necessità di un simulatore fisico. Questo approccio viene integrato in diverse pipeline di transizione dalla simulazione alla realtà come strumento di randomizzazione del dominio visivo a basso costo.
Randomizzazione del dominio e identificazione del sistema
La randomizzazione del dominio randomizza i parametri di simulazione (texture degli oggetti, condizioni di illuminazione, coefficienti di attrito, rigidità delle articolazioni del robot) durante l'addestramento, costringendo la politica a essere resiliente alle variazioni anziché essere adattata a una singola configurazione simulata. L'identificazione del sistema adotta un approccio complementare: misura con precisione i parametri fisici del robot reale (massa, inerzia, cedevolezza delle articolazioni) e utilizza tali valori nella simulazione per minimizzare il divario prima della randomizzazione.
L'apprendimento curriculare applica la randomizzazione in modo progressivo. Una strategia viene inizialmente addestrata in una simulazione ristretta e pulita, per poi incontrare gradualmente una maggiore variabilità man mano che le prestazioni migliorano. Questo approccio a fasi converge spesso più rapidamente rispetto all'applicazione di una randomizzazione completa fin dall'inizio.
Compromessi tra qualità e quantità dei dati
Una maggiore quantità di dati non è automaticamente sinonimo di qualità. La composizione di un set di dati determina ciò che una politica addestrata può e non può fare.
La diversità dei compiti è più importante del numero di episodi quando l'obiettivo è una politica generalista. Un set di dati di 100,000 episodi dello stesso compito di prelievo e posizionamento produce uno specialista. Un set di dati di 10,000 episodi distribuiti su 50 tipi di compiti può produrre una politica che si trasferisce a nuovi compiti dopo una messa a punto con pochi esempi.
La diversità di incarnazione è fondamentale per il trasferimento tra robot. Il valore di OXE risiede proprio nella sua capacità di adattarsi a diversi tipi di braccio, piattaforme mobili e mani agili. Una politica pre-addestrata su OXE e perfezionata su un nuovo robot in genere offre prestazioni migliori rispetto a una addestrata da zero utilizzando solo i dati del nuovo robot, un risultato confermato da numerosi studi pubblicati.
La durata degli episodi e il recupero dai guasti sono aspetti spesso sottovalutati. I set di dati raccolti da teleoperatori esperti che raramente commettono errori producono politiche che non sanno come riprendersi dalle perturbazioni. L'introduzione deliberata di stati di guasto e la dimostrazione del recupero migliorano sostanzialmente la resilienza nel mondo reale. Alcuni laboratori utilizzano perturbazioni avversarie durante le sessioni di teleoperazione per generare questi dati.
Secondo le osservazioni del settore, ricavate da diversi report di laboratori di apprendimento robotico del periodo 2024-2025, il valore marginale di episodi aggiuntivi diminuisce drasticamente una volta che un set di dati copre un'attività con circa 500-1,000 dimostrazioni, mentre il valore marginale di nuove tipologie di attività rimane elevato fino a migliaia di attività distinte. EVST tiene conto di questo aspetto nella strutturazione delle celle di acquisizione dati pilota, privilegiando l'ampiezza delle attività rispetto all'accumulo di episodi ripetitivi.
Considerazioni sui dati di livello industriale
La raccolta dati in ambito industriale impone requisiti che le configurazioni di teleoperazione in ambito accademico in genere non prevedono.
La registrazione deterministica è il primo requisito. In una cella di produzione, il timestamp di una lettura dell'encoder di giunto deve essere riconducibile a un riferimento di orologio con una precisione inferiore al millisecondo. Il controllo del bus di campo EtherCAT a 1 kHz, standard sui robot industriali (inclusi quelli della gamma EVST), fornisce la base di temporizzazione deterministica che rende gestibile la sincronizzazione multisensore. Un sistema che opera a 1 kHz genera 1,000 campioni di stato del giunto al secondo per asse; allineare questo flusso con i fotogrammi della telecamera a 30-60 fps e i dati di forza-coppia a 500 Hz richiede un'architettura di timestamp hardware rigorosa, non un buffering software.
Le etichette di sicurezza sono obbligatorie quando gli episodi includono eventi di quasi incidente, attivazioni di arresto di emergenza o violazioni dei limiti di forza. Queste etichette sono necessarie sia per la conformità alle normative sia per le politiche di formazione che comprendono gli stati rilevanti per la sicurezza. I controllori industriali che registrano le cause di arresto di emergenza e i superamenti della coppia di torsione a livello hardware rendono questa etichettatura gestibile.
L'annotazione dei tempi di ciclo collega gli episodi del robot ai risultati di produzione. Sapere che l'episodio 4,712 ha completato l'attività di assemblaggio in 8.3 secondi senza segnalazioni di problemi di qualità collega i dati di apprendimento del robot al sistema MES e consente di selezionare dimostrazioni di alta qualità per l'addestramento.
I metadati collegati al sistema MES fungono da ponte. Quando il sistema di registrazione dati di un robot scrive file di episodio con allegati gli ID dei lavori MES, i tipi di pezzi e i risultati di qualità, il set di dati risultante può essere filtrato a livello di programmazione. Gli episodi associati a rilavorazioni, scarti o modifiche da parte dell'operatore possono essere esclusi o trattati come dimostrazioni di guasti.
In pratica, quando si adatta una cella pilota per l'acquisizione dati, il collo di bottiglia più comune non è la capacità di registrazione del robot, bensì l'architettura di rete della cella. I segmenti Ethernet industriali progettati per la comunicazione PLC-robot a velocità inferiori al kHz non sono sempre dimensionati per la larghezza di banda necessaria a gestire flussi video continui multicamera e dati propriocettivi. Una cella che utilizza due telecamere 1080p a 30 fps, dati di forza su sei assi e dati sullo stato delle articolazioni genera circa 150-300 MB di dati grezzi al minuto. Pianificare l'infrastruttura di archiviazione e di rete prima dell'implementazione evita i costi di adattamento successivi.
Etichettatura di condotte e attrezzature
Le registrazioni grezze degli episodi non sono pronte per l'addestramento. Necessitano di annotazioni linguistiche, maschere di segmentazione degli oggetti e, in alcuni casi, etichette di ricompensa.
Annotazione linguistica
I modelli VLA condizionati dal linguaggio necessitano di una descrizione in linguaggio naturale del compito di ciascun episodio. Per i dataset di piccole dimensioni, questo viene fatto manualmente; per dataset con più di 10,000 episodi, diventa necessaria l'annotazione automatica tramite modelli di visione-linguaggio (GPT-4V, Gemini o modelli di didascalia specializzati). Il controllo di qualità richiede la revisione umana di un campione per individuare errori sistematici nell'annotatore automatico.
Segmentazione e tracciamento degli oggetti
Le politiche che ragionano sullo stato degli oggetti traggono vantaggio dalle maschere di segmentazione per episodio che identificano gli oggetti manipolati. Il modello Segment Anything Model (SAM 2) di Meta rende la segmentazione interattiva gestibile su larga scala, riducendo i tempi di annotazione da ore a minuti per episodio se combinato con un passaggio di propagazione del tracciamento.
Modellamento delle ricompense per RLHF
Quando gli episodi includono sia dimostrazioni di successo che di fallimento, l'etichettatura delle ricompense consente la messa a punto dell'apprendimento per rinforzo tramite feedback umano (RLHF). Annotatori umani classificano gli esiti degli episodi e tali preferenze addestrano un modello di ricompensa che modella gli aggiornamenti delle politiche. Questa pipeline viene utilizzata nello sviluppo di pi0 di Physical Intelligence ed è in fase di studio per l'addestramento a compiti industriali in cui le etichette binarie di successo/fallimento sono già disponibili da MES.
Privacy, proprietà intellettuale e licenze dei set di dati
I contributi a dataset aperti sollevano questioni di proprietà intellettuale che i produttori di apparecchiature originali (OEM) del settore industriale devono risolvere prima di partecipare.
Le principali categorie di licenza utilizzate sono CC-BY (attribuzione obbligatoria, uso commerciale consentito), CC-BY-NC (solo uso non commerciale) e Apache 2.0 (permissiva, incluso l'uso commerciale e la ridistribuzione dei pesi del modello). I set di dati proprietari (Tesla Optimus, dati della flotta di Figure, Boston Dynamics) non vengono condivisi esternamente.
Per i produttori di apparecchiature originali (OEM), la preoccupazione principale in materia di proprietà intellettuale è la divulgazione dei processi: un episodio che mostri una specifica configurazione di dime, un percorso utensile o un design di fissaggio potrebbe rivelare metodi di produzione proprietari. La soluzione standard consiste nel ridurre il contesto visivo al livello dell'effettore finale, nel fornire solo flussi di traiettorie articolari (senza dati della telecamera) o nell'utilizzare rendering sintetici della traiettoria di manipolazione su uno sfondo generico. Diversi modelli di consorzio emergenti offrono quadri giuridici per la fornitura di dati industriali anonimizzati in base ad accordi di non divulgazione reciproci combinati con licenze dati Apache 2.0.
Secondo un'analisi condotta da Stanford CRFM e collaboratori nell'ambito del sondaggio sull'apprendimento robotico del 2024, i silos di dati proprietari rappresentano il principale ostacolo strutturale al progresso dell'intelligenza artificiale incarnata rispetto ai parametri di riferimento attuali. I produttori di apparecchiature originali (OEM) del settore industriale che sviluppano ora framework interni di governance dei dati saranno in una posizione favorevole per partecipare ai consorzi di dataset, man mano che questi programmi si formalizzeranno nei prossimi 18-24 mesi.
Come i produttori OEM possono contribuire con i dati
I fornitori di automazione industriale (tra cui FANUC, ABB, KUKA e integratori certificati "chiavi in mano" come EVST) si trovano all'intersezione tra l'hardware robotico e gli ambienti di produzione reali. Questa posizione li rende contributori naturali all'ecosistema dei dati di intelligenza artificiale incorporata, a condizione che sia presente un quadro operativo e legale adeguato.
Celle pilota con sovrapposizione di teleoperazione
Il punto di partenza più accessibile è una cella pilota in cui il robot di produzione è dotato di un sistema di teleoperazione: un braccio leader-follower che un operatore utilizza per dimostrare le varianti del compito di produzione. Queste dimostrazioni vengono raccolte in piccole quantità (50-500 episodi) e sono sufficienti per la messa a punto di un modello VLA pre-addestrato sul compito di produzione specifico. L'approccio con la cella pilota non richiede modifiche alla certificazione di sicurezza della cella di produzione perché il sistema di teleoperazione funziona come dispositivo di input per il controllore del robot, non come percorso di controllo parallelo.
Aggiornamento del sistema di registrazione dati sui robot di produzione
I robot di produzione esistenti possono essere dotati di moduli di registrazione leggeri che registrano lo stato delle articolazioni, la posizione dell'effettore finale e la forza della pinza a frequenze EtherCAT, scrivendo file di episodio con timestamp su un server edge durante le fasi di produzione. Ciò non richiede alcuna modifica al programma di controllo del robot. I dati registrati catturano il comportamento di manipolazione reale in produzione, che è più rappresentativo del compito rispetto alle dimostrazioni di laboratorio. I controllori industriali di EVST, che operano a cicli EtherCAT di 1 kHz e sono certificati secondo gli standard CE/SGS/TUV, forniscono l'architettura di temporizzazione deterministica su cui si basa questo approccio di registrazione. I dati possono essere ripuliti, anonimizzati e formattati per i framework di apprendimento robotico standard senza costosi interventi di reintegrazione.
Partecipazione al programma di set di dati anonimizzati
I programmi emergenti per la creazione di dataset OEM (tra cui il percorso di contributi aperti di AgiBot World e diverse discussioni di consorzio all'ICRA 2025) accettano dati di manipolazione industriale anonimizzati. Gli OEM con certificazione IATF16949, come EVST, dispongono di processi di gestione della qualità consolidati che si adattano bene ai requisiti di integrità dei metadati specificati da questi programmi: timestamp tracciabili, protocolli di raccolta documentati e registrazioni validate della calibrazione dei sensori.
La copertura globale sul campo come vantaggio in termini di dati.
Un produttore OEM con ingegneri sul campo in oltre 100 paesi può raccogliere dati di addestramento per l'IA in ambienti di produzione realmente diversificati (diverse geometrie dei pezzi, condizioni ambientali, caratteristiche demografiche degli operatori e variazioni di processo). Questa diversità geografica è preziosa perché le politiche addestrate su di essa si generalizzano meglio rispetto a quelle addestrate su dati provenienti da un singolo laboratorio o impianto. I robot certificati antideflagranti di EVST e la gamma completa da 3 a 800 kg consentono di estendere la raccolta dati ad ambienti come la lavorazione chimica, la gestione di materiali pericolosi e la produzione a temperature estreme, che la maggior parte dei set di dati accademici non copre affatto.
Dati chiave del settore
Secondo il rapporto World Robotics 2024 della Federazione Internazionale di Robotica (IFR), nel 2023 erano in funzione a livello globale oltre 3.9 milioni di robot industriali, eppure i più grandi dataset aperti sulla manipolazione robotica contengono complessivamente meno di 2 milioni di episodi, a dimostrazione del divario tra l'hardware installato e i dati di addestramento disponibili. EVST affronta questo problema esplorando architetture di registrazione retrofit che convertono le flotte di robot di produzione in risorse passive per la raccolta dati.
Secondo il documento Open X-Embodiment (Padalkar et al., Google DeepMind et al., 2023), i modelli addestrati su dati cross-embodiment provenienti da oltre 22 tipi di robot hanno mostrato una generalizzazione misurabilmente migliore su compiti di test rispetto ai modelli addestrati sui dati di un singolo tipo di robot. EVST affronta questo problema strutturando il proprio framework interno di valutazione dei dati in modo da ponderare la diversità degli embodiment insieme al numero di episodi quando si valuta l'utilità del dataset per le valutazioni di fine-tuning della linea di produzione.
Secondo le osservazioni del settore provenienti da diversi laboratori di apprendimento robotico nel periodo 2024-2025, il divario tra simulazione visiva e realtà è responsabile della maggior parte dei casi di fallimento delle policy nelle attività di manipolazione che coinvolgono oggetti speculari o trasparenti, che le tecniche standard di randomizzazione del dominio non coprono in modo affidabile. EVST affronta questo problema monitorando gli strumenti di simulazione fotorealistica (in particolare le pipeline NVIDIA Cosmos e Gaussian Splatting) come potenziali livelli di aumento per la sua roadmap di pianificazione del movimento potenziata dall'IA.
Guide correlate
- Intelligenza artificiale incarnata e modelli VLA nella robotica industriale: cosa devono sapere gli ingegneri di fabbricaIl testo descrive l'architettura dei modelli visione-linguaggio-azione e i relativi vincoli di implementazione su hardware di produzione.
- Robot umanoidi nella produzione industriale 2026Esamina quali compiti siano effettivamente svolti da piattaforme umanoidi rispetto ai bracci industriali convenzionali.
- Robot umanoidi contro bracci robotici industriali per l'uso in fabbrica nel 2026Un confronto diretto tra capacità, costi e complessità di integrazione dei due formati.
- Guida completa ai cobot: tipologie, selezione e applicazioni nel 2026Il punto di riferimento fondamentale per la selezione collaborativa di robot in base a requisiti di carico utile, applicazione e ambiente.
Domande frequenti
Perché la raccolta di dati per l'intelligenza artificiale incarnata è più difficile rispetto alla raccolta di dati per i modelli linguistici?
I modelli linguistici si addestrano su testi già presenti su Internet in quantità enormi. I robot con intelligenza artificiale incarnata devono raccogliere dati sensomotori associati alle azioni: angoli articolari sincronizzati, forze di presa, fotogrammi della telecamera e contesto del compito, il tutto registrato durante la manipolazione fisica. Questi dati non sono disponibili su scala web e la loro generazione è costosa. Ogni episodio di teleoperazione richiede in genere da 1 a 10 minuti di tempo di un operatore esperto per produrre una singola traiettoria di addestramento, e la qualità si degrada se l'operatore non ha familiarità con le dinamiche del robot.
Qual è la differenza tra trasferimento da simulazione a realtà e randomizzazione del dominio nell'addestramento dei robot?
L'obiettivo generale è il trasferimento dalla simulazione alla realtà: addestrare una strategia in simulazione e implementarla su un robot fisico senza compromettere le prestazioni. La randomizzazione del dominio è una tecnica per raggiungere questo obiettivo. Essa varia in modo casuale i parametri della simulazione (illuminazione, texture, coefficienti di attrito, masse degli oggetti) durante l'addestramento, in modo che la strategia impari a gestire le variazioni del mondo reale anziché adattarsi eccessivamente a un singolo aspetto simulato. Altri metodi includono l'adattamento del dominio, il rendering fotorealistico (come in NVIDIA Cosmos) e l'identificazione del sistema.
Che cos'è Open X-Embodiment e quanti tipi di robot supporta?
Open X-Embodiment è un dataset di apprendimento robotico aperto su larga scala, assemblato da Google DeepMind con il contributo di 33 istituti di ricerca. Aggrega oltre 1 milione di episodi robotici relativi a più di 22 configurazioni di robot: manipolatori a braccio singolo, sistemi bimanuali, basi mobili e mani destre. I modelli RT-X addestrati su OXE hanno dimostrato che l'addestramento cross-embodiment migliora la generalizzazione delle politiche rispetto ai modelli di riferimento a singola configurazione.
Come può un produttore OEM di fabbrica contribuire con dati sui robot all'addestramento dell'intelligenza artificiale incarnata senza esporre la proprietà intellettuale proprietaria del processo?
L'approccio più pratico consiste nel fornire episodi anonimizzati: rimuovere i metadati che identificano il processo (codici articolo, riferimenti clienti, obiettivi di tempo di ciclo) e fornire solo i flussi di traiettoria delle articolazioni e lo stato della pinza. Diversi programmi di dataset, tra cui AgiBot World e le emergenti iniziative dei consorzi OEM, accettano dati di manipolazione industriale anonimizzati secondo i termini di licenza Apache 2.0 o CC-BY. Un'infrastruttura di logging con timestamp EtherCAT deterministici garantisce che la qualità degli episodi soddisfi gli standard di acquisizione del dataset.
Quale sistema di raccolta dati per teleoperazione è più adatto per le attività di manipolazione industriale?
Per la manipolazione industriale, le opzioni principali sono ALOHA 2 (bracci bimanuali leader-follower, a basso costo e open-source), UMI (montato sul polso, disaccoppiato dal robot, altamente portatile) e sistemi di acquisizione basati su esoscheletri per attività con carichi maggiori o che coinvolgono tutto il corpo. I sistemi VR che utilizzano Apple Vision Pro o Meta Quest 3 stanno guadagnando terreno per l'acquisizione bimanuale intuitiva, ma richiedono pipeline di retargeting per tradurre la cinematica della mano umana nello spazio delle articolazioni del robot. La scelta giusta dipende dai gradi di libertà del robot target, dal carico utile e dal fatto che l'attività richieda o meno l'uso di entrambe le mani.
Ultimo Aggiornamento: aprile 23, 2026
vedere il nostro Soluzioni di intelligenza artificiale incarnata →