Dernière mise à jour : 23 avril 2026
Collecte de données pour l'IA incarnée : téléopération, simulation-réel et ensembles de données industriels en 2026
Le principal obstacle à l'IA incarnée réside dans les données, et non dans la puissance de calcul. L'entraînement d'une politique robotique exige des flux d'actions et d'états synchronisés, qui n'existent tout simplement pas à l'échelle d'Internet. Actuellement, trois sources répondent à cette demande. La téléopération humaine permet de réaliser des démonstrations de haute qualité, mais mobilise le temps de l'opérateur. Le transfert de simulation à la réalité augmente le nombre d'épisodes, mais introduit un écart de fidélité. De vastes ensembles de données ouverts regroupent les contributions de dizaines de laboratoires et de plateformes.
Pourquoi les données constituent le goulot d'étranglement de l'IA incarnée
La puissance de calcul a connu une croissance prévisible. Des clusters de GPU capables d'entraîner des modèles vision-langage-action (VLA) à un milliard de paramètres sont aujourd'hui disponibles sur le marché. En revanche, les données nécessaires à ces modèles n'ont pas suivi la même évolution : des observations et des actions appariées, enregistrées lors de la manipulation physique de robots, avec une diversité de tâches et d'incarnations suffisante pour produire des politiques généralisables.
Un modèle de langage peut traiter mille milliards de jetons provenant du web en quelques semaines. Un ensemble de données de manipulation robotique doit être généré épisode par épisode, chaque épisode nécessitant un robot physique, un environnement réel ou simulé, une définition de tâche et soit un opérateur humain, soit une démonstration scriptée. La Fédération internationale de robotique (IFR) estime que plus de 3.9 millions de robots industriels étaient en service dans le monde en 2024, or les plus grands ensembles de données de manipulation ouverts contiennent environ un million d'épisodes. L'écart ne se résorbe pas rapidement.
La difficulté s'accroît lorsqu'on considère l'écart de personnalisation : une politique entraînée sur un manipulateur monobras à 6 degrés de liberté ne se transpose pas directement à un humanoïde bimanuel ou à une base mobile dotée d'un bras. Chaque nouveau format de robot redéfinit les besoins en données. Les approches de segmentation des actions (où une politique génère des séquences d'actions en plusieurs étapes plutôt que des étapes uniques) réduisent la latence d'inférence, mais ne diminuent pas la nécessité d'une couverture d'entraînement diversifiée.
D'après l'article Open X-Embodiment (Padalkar et al., 2023, Google DeepMind et al.), l'entraînement inter-embodiments sur des données robotiques diversifiées peut améliorer la généralisation des politiques au-delà des performances des ensembles de données mono-embodiments. EVST intègre cette approche en évaluant la qualité des ensembles de données inter-embodiments dans son processus d'évaluation interne lors de la sélection de la planification de mouvement augmentée par l'IA pour sa gamme complète de robots de 3 à 800 kg. Pour plus d'informations sur le matériel utilisé dans cette stratégie de données, voir [référence manquante]. Solutions d'IA intégrée EVST, notamment des robots humanoïdes, des mains agiles de collecte de données, des robots quadrupèdes et des plateformes pilotes pour le développement de l'IA incarnée.
Les trois principales sources de données : points forts et limites
Téléopération
La téléopération permet de réaliser des démonstrations de haute qualité sur le robot cible. L'opérateur contrôle le robot à distance, via des bras articulés, des casques de réalité virtuelle, des exosquelettes ou des interfaces portables, tandis que le système enregistre simultanément chaque angle articulaire, l'état des pinces, la force exercée et chaque image de la caméra. Puisque les données proviennent d'un humain effectuant la tâche sur le robot, la correspondance entre l'action et l'état est parfaite et l'écart avec l'expérience réelle est nul.
La limitation réside dans le débit. Les téléopérateurs expérimentés produisent environ 5 à 50 épisodes par heure selon la complexité de la tâche, et la qualité des données se dégrade avec la fatigue. De plus, la téléopération ne permet pas une reprise après incident sans une conception de protocole spécifique : si les opérateurs réussissent systématiquement, le système n’apprend jamais à se remettre des perturbations.
Transfert de la carte SIM vers la carte réelle
Les simulateurs physiques (MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet) permettent aux chercheurs de générer des millions d'épisodes robotiques à un coût marginal quasi nul. Un seul cluster de GPU peut exécuter des milliers d'instances de simulation en parallèle pendant la nuit. Le coût se manifeste lors du déploiement : les politiques entraînées en simulation échouent souvent face à la dynamique des contacts, au bruit des capteurs et aux variations visuelles du monde réel, autant d'éléments que le simulateur n'a pas reproduits avec précision. Combler cet écart entre simulation et réalité est un domaine de recherche actif.
Vidéo sur Internet et observation passive
Les grands modèles vision-langage pré-entraînés sur des vidéos internet permettent une compréhension générale de la scène, facilitant ainsi l'ancrage des tâches dans la réalité. L'architecture pi0 de Physical Intelligence et les architectures VLA similaires utilisent le pré-entraînement vidéo pour amorcer les compétences de manipulation avant un ajustement fin sur des démonstrations robotiques. La limite réside dans l'absence d'étiquettes d'action fournies par la vidéo : une vidéo montre une main saisissant un objet, mais n'enregistre ni la force appliquée ni les angles articulaires d'un bras robotique équivalent. Les modèles de dynamique inverse peuvent partiellement inférer les actions à partir de la vidéo, mais les pseudo-étiquettes obtenues sont bruitées.
Matériel et protocoles de téléopération
Le choix de l'interface de téléopération influe à la fois sur la qualité des données et sur le débit de collecte. Vous trouverez ci-dessous les systèmes les plus utilisés dans les programmes de recherche et commerciaux de 2025-2026.
Armes Leader-Suiveur : ALOHA et ALOHA Mobile
ALOHA (système matériel open source à faible coût pour la téléopération bimanuelle) a été développé à Stanford. Il utilise deux bras moteurs peu coûteux, actionnés manuellement par l'opérateur, tandis que deux bras suiveurs, fixés sur le robot, reproduisent le mouvement en temps réel. Cette conception bimanuelle permet de réaliser des tâches à deux mains impossibles avec les systèmes à un seul bras. ALOHA Mobile étend la plateforme sur une base mobile. ALOHA 2, sorti en 2024, a amélioré la précision du suivi articulaire et l'ergonomie pour l'opérateur. Le coût du matériel est inférieur à 20 000 $ pour la paire de bras moteurs, ce qui a favorisé son adoption dans de nombreux laboratoires de recherche.
Interfaces montées au poignet : UMI
L'interface de manipulation universelle (UMI), développée par Stanford et Columbia, intègre une caméra fisheye et un encodeur sur une pince manuelle. L'opérateur effectue une démonstration pratique de la tâche dans son environnement, tandis que la pince enregistre la position de l'effecteur et l'état de préhension. L'UMI dissocie la collecte de données du robot : les démonstrations peuvent être réalisées sur le terrain et ensuite adaptées à différentes configurations robotiques. Elle s'avère ainsi particulièrement utile pour la collecte de données de manipulation en situation réelle, hors laboratoire.
VR et casques de réalité virtuelle
Apple Vision Pro et Meta Quest 3 sont tous deux étudiés comme interfaces de téléopération. Leur principal atout réside dans le suivi bimanuel des mains à six degrés de liberté et une commande intuitive. Le défi technique consiste à adapter la cinématique de la main humaine (cinq doigts, 27 articulations) aux commandes de l'effecteur du robot (généralement des pinces à un degré de liberté ou des mains articulées à 12-16 degrés de liberté). Sans une adaptation précise, les démonstrations enregistrées reflètent l'intention de l'opérateur, mais pas les actions directement exécutables par le robot.
Capture de l'exosquelette et du corps entier
Pour les robots humanoïdes nécessitant des données de mouvement complètes (incluant la locomotion et la manipulation), des exosquelettes capturent la cinématique du corps entier à des fréquences d'échantillonnage supérieures à 100 Hz. AgiBot utilise une approche basée sur un exosquelette pour collecter les données de manipulation humanoïde de son ensemble de données AgiBot World. La téléopération du robot Fourier GR-1 repose également sur un dispositif de capture portable adapté à la configuration articulaire du robot.
Figures et flottes commerciales à grande échelle
Figure AI exploite une flotte de robots téléopérés propriétaires sur ses sites de production BMW. Le modèle d'apprentissage automatique par accumulation de données, où chaque robot déployé collecte de nouvelles données qui alimentent son entraînement, est également au cœur de la stratégie de développement de Tesla Optimus. Ces systèmes en boucle fermée accumulent des données industrielles à un rythme que les bases de données académiques ouvertes ne peuvent égaler.
Comparaison des plateformes de téléopération
| Plateforme complète | DoF capturé | Niveau de coût | Débit estimé (épisodes/heure) | Ajustement de l'incarnation | Force Clé |
|---|---|---|---|---|---|
| ALOHA 2 (Stanford / Trossen) | 14 (bimanuels, 7 chacun) | Faible (matériel d'environ 15 à 20 000 $) | 10-30 | Manipulation bimanuelle du bureau | Logiciel libre, éprouvé dans la formation aux politiques de l'ACT |
| UMI (Stanford / Columbia) | 6 (effecteur terminal + préhension) | Très bas (configuration à environ 500 $) | 20-60 | Bras unique, recalibrable | Collecte en milieu naturel, sans robot nécessaire |
| Système Apple Vision Pro | Jusqu'à 52 (repères de la main) | Moyen (environ 3 500 $ pour le casque et le système de stabilisation) | 10-25 | Mains bimanuelles / habiles | Prise en main intuitive ; retour audio spatial |
| Plateforme Meta Quest 3 | Jusqu'à 26 (main + manette) | Faible à moyen (environ 500 $ pour le casque VR et le système de contrôle) | 10-25 | Base bimanuelle / mobile | Coût accessible ; écosystème de recherche actif |
| Exosquelette AgiBot A2 | Haut du corps entier (~44) | Haut (propriétaire) | 5-15 | corps entier humanoïde | Coordination corporelle globale pour l'entraînement des humanoïdes |
| Téléopération Fourier GR-1 | Haut du corps + mains (~40) | Haut (propriétaire) | 5-15 | humanoïde GR-1 | Cinématique adaptée, aucune perte de réajustement de cible |
| Figure flotte propriétaire | humanoïde complet | Très élevé (propriétaire) | À l'échelle de la flotte (non divulgué) | Figure 02 humanoïde | Volant d'inertie des données de déploiement, données d'usine BMW |
Remarque : les chiffres de débit sont des fourchettes approximatives issues de recherches publiées et de témoignages de chercheurs. Les compétences de chaque opérateur et la complexité de la tâche influent considérablement sur les résultats.
Jeux de données publics : Open X-Embodiment, DROID, BridgeData, RoboSet, RH20T, AgiBot World
L'écosystème des jeux de données ouverts s'est rapidement développé depuis 2022. Vous trouverez ci-dessous un aperçu des collections les plus citées début 2026.
Incarnation X ouverte (OXE) et RT-X
Développée par Google DeepMind avec la contribution de 33 institutions, la base de données OXE regroupe plus d'un million d'épisodes pour plus de 22 types de robots. Les modèles RT-X associés ont démontré que l'entraînement sur des données agrégées issues de différentes incarnations surpasse les modèles de référence mono-incarnation sur les tests de généralisation. OXE est distribuée sous une combinaison de licences CC-BY et Apache 2.0, selon l'institution contributrice. L'accès se fait via le site web de RT-X et HuggingFace.
DROID
L'ensemble de données DROID (Distributed Robot Interaction Dataset) a été constitué dans 13 laboratoires de recherche nord-américains à l'aide d'un système Franka Panda standardisé et d'une interface de téléopération de type ALOHA. Il contient environ 76 000 épisodes de diverses tâches de manipulation d'objets domestiques et de table. La standardisation du matériel entre les sites fait de DROID l'un des ensembles de données de manipulation à grande échelle les plus fiables pour le clonage de comportements et les expériences RLHF.
BridgeData V2
BridgeData V2, développé par l'Université de Californie à Berkeley et Stanford, contient environ 60 000 démonstrations couvrant une grande variété de tâches de manipulation sur table. Utilisant un bras WidowX, il se distingue par la diversité de ses tâches (plus de 70 catégories distinctes), ce qui en fait une base de référence courante pour l'optimisation des modèles VLA. Distribué sous licence CC-BY 4.0.
RoboSet
RoboSet, développé par l'IIT Delhi et ses collaborateurs, fournit des données de manipulation multitâches en cuisine, collectées à l'aide d'un robot Franka Panda. Il comprend des observations RGB-D et des annotations linguistiques pour chaque épisode. RoboSet est spécifiquement conçu pour faciliter l'évaluation de politiques conditionnées par le langage, ce qui le rend utile pour tester la généralisation du suivi d'instructions.
RH20T
RH20T (Robot-Human 20 Tasks) est un vaste ensemble de données de manipulation multimodale intégrant la proprioception robotique synchronisée, la vidéo RGB, la profondeur, le toucher et l'audio. Sa richesse multimodale en fait une référence pour les chercheurs travaillant sur des politiques nécessitant la détection du contact, et non la simple observation visuelle.
Monde AgiBot
AgiBot World est un ensemble de données de manipulation humanoïde produit par AgiBot, une entreprise chinoise de robotique, à l'aide de son système de collecte de données basé sur des exosquelettes. Il se concentre sur les tâches de manipulation de corps entiers humanoïdes et représente l'un des premiers ensembles de données à grande échelle ciblant spécifiquement les facteurs de forme humanoïdes à l'échelle industrielle. AgiBot World est disponible sous une licence de recherche ouverte pour une utilisation non commerciale.
Référence du jeu de données public d'IA incarnée
| Ensemble de données | Propriétaire / Chef d'équipe | Nombre d'épisodes estimé | Exemples de réalisation couverts | License | L’accès |
|---|---|---|---|---|---|
| Incarnation X ouverte (OXE) | Google DeepMind + 33 partenaires | ~1,000,000 XNUMX+ | Plus de 22 types de robots | CC-BY / Apache 2.0 (par contributeur) | Site RT-X, HuggingFace |
| DROID | 13 laboratoires nord-américains | ~ 76,000 | Franka Panda (standardisé) | CC BY 4.0 | droid-dataset.github.io |
| BridgeData V2 | UC Berkeley / Stanford | ~ 60,000 | Bras WidowX | CC BY 4.0 | rail.eecs.berkeley.edu |
| RoboSet | IIT Delhi et al. | ~110 000+ (signalés) | Franka Panda | CC BY 4.0 | Étreindre |
| RH20T | Multi-institutionnel (CN/UE) | ~110 000+ (signalés) | Types de bras multiples | CC-BY-NC 4.0 | rh20t.github.io |
| Monde AgiBot | AgiBot (Chine) | ~1 000 000 (objectif) | AgiBot humanoïde | Recherche ouverte (non commerciale) | Portail AgiBot |
Le nombre d'épisodes et les conditions de licence proviennent des articles relatifs aux ensembles de données et des dépôts officiels datant du début de l'année 2026. Veuillez vérifier les conditions actuelles avant utilisation.
Pile Sim-to-Real : Isaac Sim, MuJoCo, Cosmos et randomisation de domaine
La simulation permet de générer des données à grande échelle. La question pratique est de savoir quel simulateur utiliser et comment réduire l'écart avec le matériel physique.
MuJoCo
MuJoCo (Multi-Joint dynamics with Contact) demeure la référence pour la recherche sur la manipulation impliquant de nombreux contacts. Son moteur physique gère la dynamique des corps rigides, les contacts souples et les systèmes actionnés par tendons avec une efficacité de calcul permettant des milliers d'entraînements parallèles sur un seul cluster GPU. Sa publication en open source sous l'égide de Google DeepMind en 2022 a considérablement accéléré son adoption. La plupart des benchmarks académiques de clonage de comportements et d'apprentissage par renforcement à haute résolution (RLHF) utilisent l'environnement MuJoCo.
NVIDIA Isaac Sim et Isaac Lab
Isaac Sim fonctionne sur la plateforme Omniverse de NVIDIA et offre une physique accélérée par GPU avec un rendu haute fidélité. Isaac Lab (anciennement OmniIsaacGymEnvs) est le framework d'apprentissage par renforcement basé sur Isaac Sim et optimisé pour l'entraînement de politiques massivement parallèles. Son principal atout réside dans le rendu photoréaliste : les visuels d'Isaac Sim, obtenus par lancer de rayons, réduisent l'écart de rendu visuel par rapport aux moteurs de rendu simplifiés de MuJoCo, un point crucial pour l'entraînement de politiques basées sur la vision.
NVIDIA Cosmos
Cosmos, la plateforme de modélisation fondamentale du monde de NVIDIA, a été annoncée fin 2024. Plutôt que de simuler la physique à partir de principes fondamentaux, Cosmos génère des vidéos photoréalistes d'interactions entre robots et objets à partir d'instructions textuelles ou visuelles, grâce à un apprentissage sur de vastes ensembles de données vidéo. L'objectif est de générer des données d'entraînement synthétiques suffisamment réalistes pour combler l'écart visuel entre simulation et réalité, sans avoir recours à une randomisation manuelle du domaine. Début 2026, Cosmos était exploré par plusieurs laboratoires d'apprentissage robotique comme couche d'augmentation de données pour des démonstrations réelles.
Reconstruction de scènes par projection gaussienne
La technique de projection gaussienne 3D permet de reconstruire des scènes photoréalistes à partir d'un petit ensemble d'images RVB en quelques minutes au lieu de plusieurs heures. Pour l'entraînement des robots, cela signifie qu'un laboratoire peut scanner un nouvel environnement de travail, reconstruire une scène gaussienne et générer de nouveaux points de vue ou configurations d'objets pour l'augmentation des données, sans aucun simulateur physique. Cette approche est intégrée à plusieurs chaînes de traitement simulation-réel comme outil de randomisation de domaine visuel à faible coût.
Randomisation du domaine et identification du système
La randomisation du domaine aléatorise les paramètres de simulation (textures des objets, conditions d'éclairage, coefficients de frottement, rigidité des articulations du robot) pendant l'apprentissage, ce qui oblige la stratégie à être robuste aux variations plutôt que de s'adapter à une seule configuration simulée. L'identification du système adopte une approche complémentaire : elle mesure précisément les paramètres physiques du robot réel (masse, inertie, compliance des articulations) et utilise ces valeurs en simulation pour minimiser l'écart avant randomisation.
L'apprentissage progressif applique la randomisation de manière graduelle. Une stratégie est d'abord entraînée dans une simulation restreinte et homogène, puis est progressivement confrontée à une plus grande variabilité à mesure que ses performances s'améliorent. Cette approche par étapes converge souvent plus rapidement que l'application d'une randomisation complète dès le départ.
Compromis entre la qualité et la quantité des données
Plus de données ne signifie pas automatiquement de meilleures performances. La composition d'un ensemble de données détermine les capacités et les limites d'une politique entraînée.
La diversité des tâches prime sur le nombre d'épisodes lorsqu'on vise une politique généraliste. Un ensemble de données de 100 000 épisodes d'une même tâche de prélèvement et de placement permet d'obtenir une politique spécialisée. Un ensemble de données de 10 000 épisodes répartis sur 50 types de tâches peut générer une politique adaptable à de nouvelles tâches après un ajustement fin sur quelques exemples.
La diversité des systèmes d'exécution est essentielle pour le transfert de compétences entre robots. La valeur d'OXE réside précisément dans sa compatibilité avec différents types de bras, de plateformes mobiles et de mains habiles. Une politique pré-entraînée sur OXE et affinée sur un nouveau robot surpasse généralement une politique entraînée de zéro uniquement sur les données de ce même robot, un résultat confirmé par de nombreuses études publiées.
La durée des épisodes et la reprise après incident sont des aspects souvent négligés. Les ensembles de données recueillis par des téléopérateurs expérimentés, dont les défaillances sont rares, produisent des politiques incapables de se remettre de perturbations. L'introduction délibérée d'états de défaillance et la démonstration des procédures de reprise améliorent considérablement la résilience en situation réelle. Certains laboratoires utilisent des perturbations adverses lors des sessions de téléopération pour générer ces données.
D'après les observations du secteur issues de plusieurs rapports de laboratoires d'apprentissage robotique publiés en 2024-2025, la valeur ajoutée des épisodes supplémentaires diminue fortement une fois qu'un ensemble de données couvre une tâche à environ 500-1 000 démonstrations, tandis que la valeur ajoutée des nouveaux types de tâches reste élevée jusqu'à plusieurs milliers de tâches distinctes. EVST en tient compte lors de la structuration des cellules pilotes de capture de données, en privilégiant la diversité des tâches à l'accumulation d'épisodes répétitifs.
Considérations relatives aux données de qualité industrielle
La collecte de données en usine impose des exigences auxquelles les dispositifs de téléopération universitaires ne répondent généralement pas.
L'enregistrement déterministe des données est la première exigence. Dans une cellule de production, l'horodatage d'une lecture d'encodeur articulaire doit être rattaché à une horloge système avec une précision inférieure à la milliseconde. Le bus de terrain EtherCAT 1 kHz, standard sur les robots industriels (y compris ceux de la gamme EVST), fournit la base de synchronisation déterministe qui rend possible la synchronisation multi-capteurs. Un système fonctionnant à 1 kHz génère 1 000 échantillons d'état articulaire par seconde et par axe ; l'alignement de ce flux avec les images de la caméra à 30–60 images/s et les données de force-couple à 500 Hz nécessite une architecture d'horodatage matériel rigoureuse, et non une mise en mémoire tampon logicielle.
L'étiquetage de sécurité est obligatoire en cas d'incidents évités de justesse, d'arrêts d'urgence ou de dépassements de limites de force. Cet étiquetage est indispensable à la fois pour la conformité réglementaire et pour les formations relatives aux situations critiques en matière de sécurité. Les contrôleurs industriels qui enregistrent les causes des arrêts d'urgence et les dépassements de couple articulaire au niveau matériel facilitent cet étiquetage.
L'annotation du temps de cycle relie les épisodes du robot aux résultats de fabrication. Savoir que l'épisode 4,712 a terminé la tâche d'assemblage en 8.3 secondes sans aucun problème de qualité permet de lier les données d'apprentissage du robot au système MES et de sélectionner des démonstrations de haute qualité pour la formation.
Les métadonnées liées au MES constituent le lien. Lorsqu'un système d'enregistrement de données de robot crée des fichiers d'épisodes contenant les identifiants de tâches MES, les types de pièces et les résultats de contrôle qualité, l'ensemble de données résultant peut être filtré par programmation. Les épisodes associés à des retouches, des rebuts ou des interventions de l'opérateur peuvent être exclus ou considérés comme des exemples de défaillance.
En pratique, lors de la modernisation d'une cellule pilote pour la capture de données, le principal goulot d'étranglement n'est pas la capacité d'enregistrement du robot, mais l'architecture réseau de la cellule. Les segments Ethernet industriels, conçus pour la communication entre automates programmables et robots à des débits inférieurs au kHz, ne sont pas toujours dimensionnés pour la bande passante des flux vidéo multicaméras continus et des données de proprioception. Une cellule équipée de deux caméras 1080p à 30 images par seconde, de données de force sur six axes et de données d'état articulaire génère environ 150 à 300 Mo de données brutes par minute. Planifier l'infrastructure de stockage et de réseau avant le déploiement permet d'éviter les coûts de modernisation ultérieurs.
Étiquetage des pipelines et des outils
Les enregistrements bruts des épisodes ne sont pas prêts pour l'entraînement. Ils nécessitent des annotations linguistiques, des masques de segmentation d'objets et, dans certains cas, des étiquettes de récompense.
Annotation linguistique
Les modèles VLA conditionnés par le langage nécessitent une description en langage naturel de la tâche de chaque épisode. Pour les petits ensembles de données, cette description est réalisée manuellement ; pour les ensembles de plus de 10 000 épisodes, l’annotation automatique à l’aide de modèles vision-langage (GPT-4V, Gemini ou modèles de légende spécialisés) devient nécessaire. Le contrôle qualité exige une vérification humaine d’un échantillon afin de détecter les erreurs systématiques de l’annotateur automatique.
Segmentation et suivi d'objets
Les politiques qui raisonnent sur l'état des objets bénéficient de masques de segmentation par épisode identifiant les objets manipulés. Le modèle Segment Anything Model (SAM 2) de Meta rend la segmentation interactive réalisable à grande échelle, réduisant le temps d'annotation de plusieurs heures à quelques minutes par épisode lorsqu'il est combiné à une passe de propagation de suivi.
Modélisation des récompenses pour RLHF
Lorsque les épisodes comprennent des démonstrations de réussite et d'échec, l'étiquetage des récompenses permet un apprentissage par renforcement à partir de retours humains (RLHF). Des annotateurs humains classent les résultats des épisodes, et ces préférences entraînent un modèle de récompense qui oriente les mises à jour des politiques. Ce processus est utilisé dans le développement de pi0 de Physical Intelligence et est exploré pour la formation aux tâches industrielles où des étiquettes binaires de réussite/échec sont déjà disponibles auprès de MES.
Confidentialité, propriété intellectuelle et licences de jeux de données
Les contributions aux ensembles de données ouverts soulèvent des questions de propriété intellectuelle que les équipementiers industriels doivent résoudre avant de participer.
Les principales catégories de licences utilisées sont CC-BY (attribution requise, utilisation commerciale autorisée), CC-BY-NC (utilisation non commerciale uniquement) et Apache 2.0 (licence permissive, incluant l'utilisation commerciale et la redistribution des pondérations du modèle). Les jeux de données propriétaires (Tesla Optimus, données de flotte de Figure, Boston Dynamics) ne sont pas partagés avec des tiers.
Pour les équipementiers, le principal enjeu en matière de propriété intellectuelle réside dans la divulgation des procédés : la présentation d’une configuration de montage, d’une trajectoire d’outil ou d’une conception de dispositif de fixation spécifique peut révéler des méthodes de fabrication propriétaires. La solution standard consiste à limiter le contexte visuel à l’effecteur final, à ne fournir que les flux de trajectoires articulaires (sans données de caméra) ou à utiliser des rendus synthétiques de la trajectoire de manipulation sur un fond générique. Plusieurs modèles de consortiums émergents proposent des cadres juridiques pour la contribution de données industrielles anonymisées, sous le biais d’accords de confidentialité mutuels et de licences de données Apache 2.0.
D'après une analyse menée par Stanford CRFM et ses collaborateurs dans le cadre de l'enquête 2024 sur l'apprentissage robotique, les silos de données propriétaires constituent le principal obstacle structurel au développement de l'IA embarquée au-delà des niveaux de référence actuels. Les équipementiers industriels qui mettent en place dès maintenant des cadres de gouvernance des données internes seront en mesure de participer aux consortiums de jeux de données à mesure que ces programmes se formaliseront au cours des 18 à 24 prochains mois.
Comment les constructeurs automobiles peuvent contribuer aux données
Les fournisseurs de solutions d'automatisation industrielle (notamment FANUC, ABB, KUKA et les intégrateurs clés en main certifiés tels qu'EVST) se situent à l'intersection du matériel robotique et des environnements de production réels. De ce fait, ils contribuent naturellement à l'écosystème de données de l'IA embarquée, pourvu que le cadre opérationnel et juridique soit adéquat.
Cellules pilotes avec superposition de téléopération
Le point d'entrée le plus accessible est une cellule pilote où le robot de production est équipé d'un système de téléopération : un bras articulé qu'un opérateur utilise pour démontrer différentes variantes de la tâche de production. Ces démonstrations, collectées en petit nombre (50 à 500 épisodes), suffisent à optimiser un modèle VLA pré-entraîné pour la tâche de production spécifique. L'approche par cellule pilote ne nécessite aucune modification de la certification de sécurité de la cellule de production, car le système de téléopération fonctionne comme un périphérique d'entrée pour le contrôleur du robot, et non comme une voie de contrôle parallèle.
Rénovation de l'enregistrement des données sur les robots de production
Les robots de production existants peuvent être modernisés avec des modules d'enregistrement légers qui enregistrent l'état des articulations, la pose de l'effecteur et la force de préhension à la fréquence EtherCAT, en écrivant des fichiers d'épisodes horodatés sur un serveur périphérique pendant les cycles de production. Cette modernisation ne nécessite aucune modification du programme de contrôle du robot. Les données enregistrées capturent le comportement réel de manipulation en production, ce qui est plus représentatif des tâches que les démonstrations en laboratoire. Les contrôleurs industriels d'EVST, fonctionnant à une fréquence EtherCAT de 1 kHz et certifiés CE/SGS/TUV, fournissent l'architecture de synchronisation déterministe nécessaire à cette approche d'enregistrement. Les données peuvent être nettoyées, anonymisées et formatées pour les frameworks d'apprentissage robotique standard sans nécessiter de coûteux travaux de réintégration.
Participation au programme de données anonymisées
Les programmes émergents de jeux de données des équipementiers (notamment le volet de contribution ouverte d'AgiBot World et plusieurs discussions de consortium lors de la conférence ICRA 2025) acceptent les données de manipulation industrielle anonymisées. Les équipementiers certifiés IATF16949, comme EVST, disposent de processus de gestion de la qualité existants qui répondent parfaitement aux exigences d'intégrité des métadonnées spécifiées par ces programmes : horodatage traçable, protocoles de collecte documentés et enregistrements d'étalonnage des capteurs validés.
La couverture mondiale des champs comme avantage en matière de données
Un fabricant d'équipement d'origine (OEM) disposant d'ingénieurs de terrain dans plus de 100 pays peut collecter des données d'entraînement pour l'IA embarquée issues d'environnements de fabrication véritablement diversifiés (géométries de pièces, conditions ambiantes, profils des opérateurs et variations de processus variés). Cette diversité géographique est précieuse car les politiques entraînées sur ces données se généralisent mieux que celles entraînées sur des données provenant d'un seul laboratoire ou site de production. Grâce aux robots certifiés antidéflagrants d'EVST et à sa gamme complète de 3 à 800 kg, la collecte de données peut s'étendre à des environnements tels que le traitement chimique, la manipulation de matières dangereuses et la fabrication à températures extrêmes, des domaines que la plupart des bases de données académiques ne couvrent pas.
Principaux indicateurs sectoriels
D'après le rapport World Robotics 2024 de la Fédération internationale de robotique (IFR), plus de 3.9 millions de robots industriels étaient en service dans le monde en 2023. Pourtant, les plus grands ensembles de données ouverts sur la manipulation robotique contiennent moins de 2 millions d'épisodes au total, illustrant ainsi le fossé entre le matériel déployé et les données d'entraînement disponibles. EVST s'attaque à ce problème en explorant des architectures d'enregistrement adaptables qui transforment les parcs de robots de production en dispositifs passifs de collecte de données.
D'après l'article Open X-Embodiment (Padalkar et al., Google DeepMind et al., 2023), les modèles entraînés sur des données issues de plus de 22 types de robots ont démontré une généralisation nettement supérieure sur les tâches de validation par rapport aux modèles entraînés sur les données d'une seule incarnation. EVST remédie à ce problème en structurant son cadre d'évaluation interne des données afin de pondérer la diversité des incarnations autant que le nombre d'épisodes lors de l'évaluation de l'utilité des jeux de données pour ses évaluations d'ajustement fin en production.
D'après les observations de plusieurs laboratoires d'apprentissage robotique en 2024-2025, l'écart entre la simulation visuelle et le rendu réel est responsable de la majorité des échecs de planification dans les tâches de manipulation d'objets spéculaires ou transparents, que les techniques de randomisation de domaine classiques ne couvrent pas de manière fiable. EVST remédie à ce problème en évaluant des outils de simulation photoréalistes (notamment NVIDIA Cosmos et les pipelines Gaussian Splatting) comme couches d'augmentation potentielles pour sa feuille de route de planification de mouvement optimisée par l'IA.
Guides relatifs
- Intelligence artificielle incarnée et modèles VLA en robotique industrielle : ce que les ingénieurs d’usine doivent savoir. Couvre l'architecture des modèles vision-langage-action et leurs contraintes de déploiement sur le matériel de production.
- Robots humanoïdes dans la fabrication industrielle 2026. Examine quelles tâches sont réellement réalisables par des plateformes humanoïdes par rapport aux armes industrielles conventionnelles.
- Robots humanoïdes contre bras robotisés industriels pour une utilisation en usine en 2026Une comparaison directe des capacités, du coût et de la complexité d'intégration entre les deux formats.
- Guide complet des cobots : types, sélection et applications en 2026. L'ouvrage de référence fondamental pour la sélection de robots collaboratifs en fonction des exigences relatives à la charge utile, à l'application et à l'environnement.
Questions fréquemment posées
Pourquoi la collecte de données pour l'IA incarnée est-elle plus difficile que la collecte de données pour les modèles de langage ?
Les modèles de langage s'entraînent sur des textes déjà présents en masse sur Internet. Les robots dotés d'une IA incarnée doivent collecter des données sensori-motrices synchronisées entre les actions : angles articulaires, forces de préhension, images de la caméra et contexte de la tâche, le tout enregistré lors de la manipulation physique. Ces données n'existent pas à l'échelle du web et leur production est coûteuse. Chaque épisode de téléopération nécessite généralement entre 1 et 10 minutes de travail d'un opérateur qualifié pour produire une seule trajectoire d'entraînement, et la qualité se dégrade si l'opérateur n'est pas familiarisé avec la dynamique du robot.
Quelle est la différence entre le transfert de simulation à réel et la randomisation de domaine dans l'entraînement des robots ?
Le transfert simulation-réel est l'objectif principal : entraîner une politique en simulation et la déployer sur un robot physique sans perte de performance. La randomisation du domaine est une technique permettant d'atteindre cet objectif. Elle fait varier aléatoirement les paramètres de simulation (éclairage, textures, coefficients de friction, masses des objets) pendant l'entraînement, afin que la politique apprenne à gérer les variations du monde réel plutôt que de se suradapter à une seule apparence simulée. Parmi les autres méthodes, on peut citer l'adaptation de domaine, le rendu photoréaliste (comme dans NVIDIA Cosmos) et l'identification du système.
Qu'est-ce que l'Open X-Embodiment et combien de types de robots couvre-t-il ?
Open X-Embodiment (OXE) est un vaste ensemble de données d'apprentissage robotique ouvert, constitué par Google DeepMind avec la contribution de 33 institutions de recherche. Il regroupe plus d'un million d'épisodes robotiques répartis sur plus de 22 types de robots : manipulateurs à un bras, systèmes bimanuels, bases mobiles et mains articulées. Les modèles RT-X entraînés sur OXE ont démontré que l'entraînement inter-types améliore la généralisation des politiques par rapport aux modèles de référence mono-type.
Comment un fabricant d'équipement d'origine (OEM) peut-il contribuer aux données des robots pour la formation d'une IA embarquée sans exposer sa propriété intellectuelle de processus propriétaire ?
L'approche la plus pratique consiste à anonymiser les contributions d'épisodes : supprimer les métadonnées permettant d'identifier le processus (numéros de pièces, références clients, objectifs de temps de cycle) et ne contribuer que les flux de données relatifs à la trajectoire des articulations et à l'état de la pince. Plusieurs programmes de jeux de données, dont AgiBot World et les initiatives émergentes des consortiums OEM, acceptent les données de manipulation industrielle anonymisées sous licence Apache 2.0 ou CC-BY. Une infrastructure d'enregistrement avec horodatage EtherCAT déterministe garantit que la qualité des épisodes répond aux normes d'intégration des données.
Quel système de collecte de données de téléopération est le plus adapté aux tâches de manipulation industrielle ?
Pour la manipulation industrielle, les principales options sont ALOHA 2 (bras bimanuels de type leader-suiveur, économique et open source), UMI (monté au poignet, découplé du robot et très portable) et la capture par exosquelette pour les tâches nécessitant une charge utile importante ou l'utilisation de l'ensemble du corps. Les casques de réalité virtuelle utilisant Apple Vision Pro ou Meta Quest 3 gagnent en popularité pour la capture bimanuelle intuitive, mais requièrent des processus de réadaptation pour convertir la cinématique de la main humaine en mouvement dans l'espace articulaire du robot. Le choix optimal dépend des degrés de liberté du robot cible, de la charge utile et de la nécessité d'utiliser les deux mains pour la tâche.
Dernière mise à jour : 23 avril 2026
Découvrez nos offres de Solutions d'IA incarnée →