Utolsó frissítés: április 23, 2026

Adatgyűjtés a megtestesült mesterséges intelligenciához: Teleoperációs, szimulációtól a valóságig és ipari adatkészletek 2026-ban

Az adat a szűk keresztmetszet a megtestesült mesterséges intelligencia számára, nem a számítás. Egy robotirányelv betanításához szinkronizált cselekvés-állapot folyamokra van szükség, amelyek egyszerűen nem léteznek internetes szinten. Jelenleg három forrás elégíti ki ezt az igényt. Az emberi teleoperáció kiváló minőségű bemutatókat eredményez a kezelői idő rovására. A szimulációból a valóságba történő átvitel skálázza az epizódok számát, de pontossági szakadékot okoz. A nagyméretű, nyílt adatkészletek több tucat laboratórium és platform hozzájárulásait egyesítik.

Miért jelentik az adat a megtestesült mesterséges intelligencia szűk keresztmetszetét?

A számítás egy kiszámítható skálázási görbét követett. A milliárd paraméteres látás-nyelv-akció (VLA) modellek betanítására képes GPU-klaszterek ma már kereskedelmi forgalomban kaphatók. Ami viszont nem skálázódott, az az adatmennyiség, amire ezeknek a modelleknek szüksége van: párosított megfigyelések és műveletek, amelyeket a fizikai robotmanipuláció során rögzítettek, elegendő feladat- és megvalósítási változatossággal ahhoz, hogy általánosítható szabályokat lehessen létrehozni.

Egy nyelvi modell hetek alatt képes egybillió tokent beolvasni a webről. Egy robotmanipulációs adathalmazt epizódról epizódra kell generálni, mindegyikhez szükség van egy fizikai robotra, egy valós vagy szimulált környezetre, egy feladatdefinícióra, valamint egy emberi operátorra vagy egy szkriptelt bemutatóra. A Nemzetközi Robotikai Szövetség (IFR) becslései szerint 2024-ben több mint 3.9 millió ipari robot működött világszerte, mégis a legnagyobb nyílt manipulációs adathalmazok nagyságrendileg egymillió epizódot tartalmaznak. A különbség nem csökken gyorsan.

A kihívás tovább súlyosbodik, ha figyelembe vesszük a megvalósítási rést: egy 6 szabadságfokú, egykarú manipulátoron betanított szabályzat nem kerül át tisztán egy kétkezes humanoidra vagy egy karral ellátott mobil bázisra. Minden új robotforma gyakorlatilag visszaállítja az adatkövetelményeket. A műveletdarabolásos megközelítések (ahol egy szabályzat többlépéses cselekvési sorozatokat ad ki egyetlen lépés helyett) csökkentik a következtetési késleltetést, de nem csökkentik a változatos betanítási lefedettség szükségességét.

Az Open X-Embodiment tanulmány (Padalkar et al., 2023, Google DeepMind et al.) szerint a különféle robotadatokon végzett kereszt-megtestesülési képzés javíthatja a szabályzatok általánosítását az egyetlen megtestesülési adatkészletek által nyújtottakon túl is. Az EVST ezt úgy oldja meg, hogy a kereszt-megtestesülési adatkészletek minőségét értékeli belső értékelési folyamatának részeként, amikor mesterséges intelligenciával kiterjesztett mozgástervezést választ a teljes körű, 3–800 kg-os robotkínálatához. Az adatstratégia hardveres oldalát lásd: EVST megtestesített mesterséges intelligencia megoldások, beleértve a humanoid robotokat, az ügyes adatgyűjtő kezeket, a négylábú robotokat és a megtestesült mesterséges intelligencia fejlesztésére szolgáló kísérleti platformokat.

A három fő adatforrás: erősségek és korlátok

Teleoperáció

A teleoperáció szakértői minőségű bemutatókat rögzít a célrobot hardverén. A kezelő távolról vezérli a robotot vezető-követő karokon, VR-szemüvegeken, exoskeleton ruhákon vagy kézi interfészeken keresztül, miközben a rendszer szinkronban rögzít minden ízületi szöget, megfogó állapotot, erőleolvasást és kameraképkockát. Mivel az adatok egy embertől származnak, aki a tényleges feladatot a tényleges roboton végzi, a cselekvés-állapot megfeleltetés pontos, és a megvalósítási mód közötti rés nulla.

A korlátozás az átviteli sebesség. A képzett teleoperátorok a feladat összetettségétől függően óránként nagyjából 5-50 epizódot állítanak elő, és az adatminőség romlik, amikor az operátorok elfáradnak. A teleoperáció a hibák helyreállítására sem skálázható átgondolt protokolltervezés nélkül: ha az operátorok mindig sikerrel járnak, a szabályzat soha nem tanulja meg, hogyan álljon helyre a zavarok után.

Sim-to-Real átvitel

A fizikai szimulátorok (MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet) lehetővé teszik a kutatók számára, hogy több millió robotepizódot generáljanak közel nulla határköltséggel. Egyetlen GPU-klaszter több ezer párhuzamos szimulációs példányt képes futtatni egyetlen éjszaka alatt. A költségek a telepítéskor mutatkoznak meg: a szimulációban betanított szabályzatok gyakran kudarcot vallanak, amikor valós érintkezési dinamikájával, érzékelőzajjal és vizuális variációval szembesülnek, amelyeket a szimulátor nem tudott pontosan reprodukálni. A szimuláció és a valóság közötti rés áthidalása aktív kutatási terület.

Internetes videó és passzív megfigyelés

Az internetes videókon előtanított nagyméretű vizuális nyelvi modellek általános jelenetmegértést biztosítanak, ami segít a feladat megalapozásában. A Physical Intelligence pi0 architektúrája és a hasonló VLA-tervek videós előtanítást használnak a manipulációs készségek elindításához, mielőtt robotbemutatókon finomhangolnák azokat. A korlát az, hogy a videó nem tartalmaz cselekvési címkéket: a videó egy tárgyat megfogó kezet mutat, de nem rögzíti az alkalmazott erőt vagy egy azzal egyenértékű robotkar ízületi szögeit. Az inverz dinamikai modellek részben kikövetkeztethetik a műveleteket a videóból, de az így kapott pszeudocímkék zajt hordoznak.

Teleoperációs hardverek és protokollok

A teleoperációs interfész megválasztása befolyásolja mind az adatminőséget, mind a gyűjtési teljesítményt. Az alábbiakban a 2025–2026-os kutatási és kereskedelmi programokban legaktívabb rendszereket mutatjuk be.

Vezető-követő karok: ALOHA és mobil ALOHA

Az ALOHA-t (A Low-cost Open-source Hardware System for Bimanual Teleoperation, alacsony költségű, nyílt forráskódú hardverrendszer kétkezes távműködéshez) a Stanfordon fejlesztették ki, és két olcsó vezetőkart használ, amelyeket a kezelő kézzel mozgat, míg a robot két, egymáshoz illesztett követőkarja valós időben reprodukálja a mozgást. A kétkezes kialakítás olyan kétkezes feladatokat is képes rögzíteni, amelyeket az egykarú rendszerek nem tudnak. A mobil ALOHA kiterjeszti a platformot egy mobil alapra. A 2024-ben megjelent ALOHA 2 javította az ízületek követési pontosságát és a kezelő ergonómiáját. A hardverköltség 20 000 dollár alatt van a vezető-követő páros esetében, ami több tucat tudományos laboratóriumban ösztönözte az elterjedést.

Csuklóra szerelhető interfészek: UMI

A Stanford és Columbia Egyetem által gyártott Universal Manipulation Interface (UMI) egy halszemkamerát és kódolót szerel egy kézi megfogóra. A kezelő fizikailag bemutatja a feladatot a környezetben, miközben a megfogó rögzíti az effektor pozícióját és megfogási állapotát. Az UMI leválasztja az adatgyűjtést a robotról: a bemutatók a terepen is összegyűjthetők, majd később különböző robotmegvalósításokra átirányíthatók. Ez különösen hasznossá teszi a laboratóriumi környezeten kívüli, vadonban történő manipulációs adatok gyűjtésére.

VR és fejre szerelhető kijelzők

Az Apple Vision Pro és a Meta Quest 3 egyaránt teleoperációs interfészként vizsgálják. A vonzereje a kétkezes, hat szabadságfokú kézkövetésben rejlik, intuitív kezelői vezérléssel. A mérnöki kihívás az újracélzás: az emberi kéz kinematikáját (öt ujj, 27 ízület) a robot effektorparancsaihoz kell igazítani (jellemzően 1 szabadságfokú megfogók vagy ügyes kezek 12–16 szabadságfokúval). Gondos újracélzás nélkül a rögzített bemutatók tartalmazzák a kezelő szándékát, de nem közvetlenül végrehajtható robotműveleteket.

Exoskeleton és teljes test befogása

Az olyan humanoid robotok esetében, amelyeknek teljes test mozgásadataira van szükségük (beleértve a mozgást és a manipulációt kombinálva), az exoskeleton ruhák 100 Hz feletti mintavételi frekvenciával rögzítik a teljes test kinematikáját. Az AgiBot exoskeleton alapú megközelítést alkalmaz a humanoid manipulációs adatok gyűjtésére az AgiBot World adatkészletéhez. A Fourier GR-1 teleoperáció hasonlóképpen egy viselhető rögzítőberendezésre támaszkodik, amely a robot ízületi konfigurációjához illeszkedik.

Ábra és nagyméretű kereskedelmi flották

A Figure AI saját fejlesztésű teleoptikus flottát üzemeltet a BMW gyártási környezetében. Az adatlendkerék modell, amelyben minden telepített robot új epizódokat gyűjt, amelyeket visszacsatolnak a képzéshez, szintén központi szerepet játszik a Tesla Optimus fejlesztési stratégiájában. Ezek a zárt hurkú rendszerek olyan ütemben gyűjtik az ipari adatokat, amelyet a nyílt akadémiai adatkészletek nem tudnak tartani.

Teleoperációs platform összehasonlítás

Megjegyzés: az áteresztőképességi adatok publikált kutatásokból és kutatói beszámolókból származó hozzávetőleges tartományok. Az egyéni kezelői készségek és a feladat összetettsége jelentősen befolyásolja az eredményeket.

Nyilvános adatkészletek: Open X-Embodiment, DROID, BridgeData, RoboSet, RH20T, AgiBot World

A nyílt adatkészletek ökoszisztémája gyorsan bővült 2022 óta. Az alábbiakban a 2026 elején leggyakrabban idézett gyűjtemények áttekintését láthatjuk.

Nyílt X-megtestesülés (OXE) és RT-X

A Google DeepMind és 33 közreműködő intézmény által összeállított OXE több mint 1 millió epizódot összesít több mint 22 robottípuson. A kapcsolódó RT-X modellek kimutatták, hogy a közös, kereszt-megtestesülési adatokon végzett betanítás felülmúlja az egymegtestesülési alapértékeket az általánosítási referenciaértékek tekintetében. Az OXE CC-BY és Apache 2.0 licencek keveréke alatt érhető el a közreműködő intézménytől függően. A hozzáférés az RT-X weboldalán és a HuggingFace-en keresztül történik.

DROID

A DROID (Distributed Robot Interaction Dataset) adatkészletet 13 észak-amerikai kutatólaboratóriumban gyűjtötték össze egy szabványosított Franka Panda beállítás és egy ALOHA stílusú teleoperációs interfész segítségével. Az adatkészlet körülbelül 76 000 epizódot tartalmaz különféle háztartási és asztali manipulációs feladatokból. A telephelyek közötti szabványosított hardver teszi a DROID-ot az egyik legtisztább nagyméretű manipulációs adatkészletté a viselkedésklónozáshoz és az RLHF kísérletekhez.

BridgeData V2

A UC Berkeley és Stanford által fejlesztett BridgeData V2 körülbelül 60 000 bemutatót tartalmaz az asztali manipulációs feladatok széles skálájáról. WidowX kart használ, és a feladatok sokfélesége (több mint 70 különböző feladatkategória) miatt figyelemre méltó, ami a VLA modellek finomhangolásának általános alapjává teszi. CC-BY 4.0 licenc alatt jelent meg.

RoboSet

Az IIT Delhi és munkatársai által fejlesztett RoboSet többcélú konyhai manipulációs adatokat szolgáltat, amelyeket egy Franka Panda segítségével gyűjtöttek. Az adatok RGB-D megfigyeléseket és nyelvi annotációkat tartalmaznak minden epizódhoz. A RoboSet kifejezetten a nyelvi feltételes szabályzatértékelés támogatására készült, így hasznos az utasításkövető általánosítás tesztelésében.

RH20T

Az RH20T (Robot-Human 20 Tasks) egy nagyméretű, kontaktusokban gazdag manipulációs adathalmaz, amely szinkronizált robot propriocepciót, RGB videó-, mélység-, tapintási és hangfolyamokat tartalmaz. A multimodális gazdagság referenciaként szolgál az RH20T számára azoknak a kutatóknak, akik olyan szakpolitikákon dolgoznak, amelyek kontaktusérzékelést igényelnek, nem csak vizuális megfigyelést.

AgiBot világ

Az AgiBot World egy humanoid manipulációs adatkészlet, amelyet az AgiBot, egy kínai robotikai vállalat állít elő exoskeleton-alapú adatgyűjtési folyamatának felhasználásával. A teljes testű humanoid manipulációs feladatokra összpontosít, és az egyik első nagyméretű adatkészletet képviseli, amely kifejezetten a humanoid formafaktorokat célozza meg ipari méretekben. Az AgiBot World nyílt kutatási licenc alatt érhető el, nem kereskedelmi célú felhasználásra.

Nyilvánosan megtestesült mesterséges intelligencia adatkészlet-referencia

Az epizódszámok és a licencfeltételek adathalmazokból és hivatalos adattárakból származnak, 2026 eleji állapot szerint. Használat előtt ellenőrizze az aktuális feltételeket.

Sim-to-Real Stack: Isaac Sim, MuJoCo, Cosmos és Domain Randomization

A szimuláció skálázza az adatgenerálást. A gyakorlati kérdés az, hogy melyik szimulátort használjuk, és hogyan lehet áthidalni a fizikai hardverhez való visszavezető réseket.

MuJoCo

A MuJoCo (Multi-Joint dynamics with Contact) továbbra is a kontaktusokban gazdag manipulációs kutatások szabványa. Fizikai motorja a merev testdinamikát, a lágy kontaktusokat és az ín által működtetett rendszereket olyan számítási hatékonysággal kezeli, amely több ezer párhuzamos betanítási epizódot tesz lehetővé egyetlen GPU-klaszteren. A Google DeepMind alatt 2022-ben megjelent nyílt forráskódú kiadás jelentősen felgyorsította az elterjedést. A legtöbb akadémiai viselkedésklónozás és RLHF benchmark MuJoCo környezeteket használ.

NVIDIA Isaac Sim és Isaac Lab

Az Isaac Sim az NVIDIA Omniverse platformján fut, és GPU-gyorsított fizikát biztosít nagy pontosságú rendereléssel. Az Isaac Lab (korábban OmniIsaacGymEnvs) az Isaac Simre épülő megerősítéses tanulási keretrendszer, amelyet masszívan párhuzamos szabályzatok betanítására optimalizáltak. Egy kulcsfontosságú előny a fotorealisztikus renderelés: az Isaac Sim útvonalkövetős vizualizációi csökkentik a vizuális tartománybeli rést a MuJoCo egyszerűsített renderelőihez képest, ami fontos a látásalapú szabályzatok betanításakor.

NVIDIA Cosmos

A Cosmos az NVIDIA világmodell-platformja, amelyet 2024 végén jelentettek be. A fizika első elvekből történő szimulálása helyett a Cosmos szöveges vagy képi promptokból fotorealisztikus videókat generál a robotok és objektumok interakcióiról, amelyeket nagyméretű videó-adatkészleteken tanítanak. Az ígéret az, hogy olyan szintetikus betanítási adatokat generál, amelyek elég valóságosnak tűnnek ahhoz, hogy áthidalják a vizuális szimuláció és a valóság közötti rést anélkül, hogy kézzel készített tartományvéletlenszerűsítést alkalmaznának. 2026 elejétől kezdve számos robotikai tanulási laboratórium vizsgálja a Cosmost adatbővítő rétegként a valódi bemutatók mellett.

Gauss-féle fröccsenés és jelenetrekonstrukció

A 3D Gauss-eloszlású fröccsöntés (3D Gauss Splatting) percek alatt, nem pedig órák alatt rekonstruál fotorealisztikus jeleneteket RGB képek kis halmazából. A robotok betanítása esetében ez azt jelenti, hogy egy laboratórium beolvashat egy új munkakörnyezetet, rekonstruálhat egy Gauss-eloszlású jelenetet, és új nézőpontokat vagy objektumkonfigurációkat generálhat az adatkiegészítéshez anélkül, hogy fizikai szimulátorra lenne szükség. Ezt a megközelítést számos szimulációból valós folyamatba integrálják, mint alacsony költségű vizuális tartomány randomizáló eszközt.

Tartományrandomizálás és rendszerazonosítás

A tartományrandomizálás a szimulációs paramétereket (tárgytextúrák, fényviszonyok, súrlódási együtthatók, a robot ízületeinek merevsége) véletlenszerűsíti a betanítás során, arra kényszerítve a szabályozást, hogy rugalmas legyen a változásokkal szemben, ahelyett, hogy egyetlen szimulált konfigurációhoz igazodna. A rendszerazonosítás a kiegészítő megközelítést alkalmazza: pontosan méri a valós robot fizikai paramétereit (tömeg, tehetetlenség, ízületi rugalmasság), és ezeket az értékeket használja a szimulációban a véletlenszerűsítés előtti rés minimalizálására.

A tantervi tanulás progresszív módon alkalmazza a véletlenszerűséget. Egy szabályzat először egy szűk, tiszta szimulációban tanul, majd fokozatosan több variációval találkozik a teljesítmény javulásával. Ez a szakaszos megközelítés gyakran gyorsabban konvergál, mint a teljes véletlenszerűség alkalmazása a kezdetektől fogva.

Adatminőség kontra mennyiségi kompromisszumok

Több adat nem feltétlenül jobb. Az adathalmaz összetétele határozza meg, hogy egy betanított szabályzat mit tud és mit nem tud megtenni.

A feladatok diverzifikációja fontosabb, mint az epizódok száma, ha a cél egy generalista szabályozás. Egy 100 000 epizódból álló adathalmaz, amely ugyanazon „kiválasztási és elhelyezési” feladatból áll, specialistát hoz létre. Egy 50 feladattípusra szétszórt, 10 000 epizódból álló adathalmaz olyan szabályozást hozhat létre, amely néhány lépéses finomhangolás után átvihető az új feladatokra.

A megtestesülések sokfélesége fontos a robotok közötti adatátvitel szempontjából. Az OXE értéke pontosan abban rejlik, hogy lefedi a kartípusokat, a mobil platformokat és az ügyes kezeket. Az OXE-n előre betanított és egy új roboton finomhangolt szabályzat jellemzően felülmúlja azt, amelyet a nulláról, ugyanazon új robot adatain tanítottak be, ami több publikált tanulmányban is konzisztens.

Az epizódok hosszát és a hibák utáni helyreállítást alulértékelik. A ritkán hibázó, képzett teleoperátorok által gyűjtött adatkészletek olyan szabályzatokat hoznak létre, amelyek nem tudják, hogyan kell helyreállni a zavarok után. A hibaállapotok szándékos befecskendezése és a helyreállítás bemutatása jelentősen javítja a valós világbeli ellenálló képességet. Egyes laboratóriumok a teleoperációs munkamenetek során ellenséges zavarokat használnak ezen adatok előállításához.

A 2024–2025-ös időszakban végzett, több robottanulási laboratóriumi jelentésből származó iparági megfigyelések szerint a további epizódok határértéke meredeken csökken, amint egy adathalmaz nagyjából 500–1,000 demonstráción át lefed egy feladatot, míg az új feladattípusok határértéke magas marad, akár több ezer különálló feladatig. Az EVST ezt figyelembe veszi a pilot adatgyűjtési cellák strukturálásakor, a feladat szélességét helyezve előtérbe az ismétlődő epizódok felhalmozásával szemben.

Ipari szintű adatokkal kapcsolatos szempontok

A gyári adatgyűjtés olyan követelményeket támaszt, amelyeket az akadémiai teleoperációs rendszerek jellemzően nem teljesítenek.

A determinisztikus naplózás az elsődleges követelmény. Egy gyártócellában az illesztési jeladó időbélyegének ezredmásodpercnél kisebb pontossággal visszakövethetőnek kell lennie egy falióra referenciáig. Az ipari robotokon (beleértve az EVST kínálatában lévőket is) alapfelszereltségként szereplő EtherCAT 1 kHz-es terepi buszvezérlés biztosítja azt a determinisztikus időzítési alapot, amely lehetővé teszi a többérzékelős szinkronizálást. Egy 1 kHz-en futó rendszer másodpercenként és tengelyenként 1,000 illesztési állapotmintát generál; ennek az adatfolyamnak a 30–60 fps sebességű kameraképekhez és az 500 Hz-es erő-nyomaték adatokhoz való igazítása fegyelmezett hardveres időbélyegző architektúrát igényel, nem pedig szoftveres pufferelést.

Biztonsági címkékre van szükség, ha a katasztrófák majdnem bekövetkező eseményeket, vészleállító mechanizmusok aktiválódását vagy erőhatár-túllépéseket tartalmaznak. Ezek a címkék mind a megfelelőség, mind a biztonsággal kapcsolatos állapotokat megértő képzési szabályzatok szempontjából szükségesek. Az ipari vezérlők, amelyek hardver szinten naplózzák a vészleállító mechanizmusok okait és az együttes nyomatéktúllépéseket, könnyen kezelhetővé teszik ezt a címkézést.

A ciklusidő-annotáció összekapcsolja a robotepizódokat a gyártási eredményekkel. Tudva, hogy a 4,712-es epizód 8.3 másodperc alatt, nulla minőségi jelzővel fejezte be az összeszerelési feladatot, a robot tanulási adatai az MES rendszerhez kapcsolódnak, és lehetővé teszi a kiváló minőségű bemutatók kiválasztását a betanításhoz.

Az MES-hez kapcsolódó metaadatok jelentik a hidat. Amikor egy robot adatnaplózó rendszere epizódfájlokat ír az MES feladatazonosítókkal, alkatrésztípusokkal és minőségi eredményekkel, a kapott adathalmaz programozottan szűrhető. Az átdolgozáshoz, selejthez vagy kezelői felülbíráláshoz kapcsolódó epizódok kizárhatók vagy hibajelzésként kezelhetők.

A gyakorlatban, amikor egy kísérleti cellát adatgyűjtésre utólagosan felszerelnek, a leggyakoribb szűk keresztmetszet nem a robot naplózási képessége, hanem a cella hálózati architektúrája. Azok az ipari ethernet szegmensek, amelyeket PLC-robot kommunikációra terveztek kHz alatti sebességgel, nem mindig vannak a folyamatos többkamerás videó- ​​és propriocepciós adatfolyamok sávszélességéhez méretezve. Egy két 1080p kamerát 30 fps sebességgel, hattengelyes erőadatokat és illesztési állapotokat futtató cella percenként nagyjából 150–300 MB nyers epizódadatot generál. A tárolási és hálózati infrastruktúra telepítés előtti megtervezése elkerüli a későbbi utólagos telepítési költségeket.

Csővezetékek és szerszámok címkézése

A nyers epizódfelvételek nem alkalmasak betanításra. Nyelvi annotációkra, objektumszegmentációs maszkokra és bizonyos esetekben jutalmazási címkékre van szükségük.

Nyelvi megjegyzések

A nyelvi feltételes VLA modellekhez minden epizód feladatának természetes nyelvű leírására van szükség. Kis adathalmazok esetén ezt manuálisan kell elvégezni; 10 000 epizód feletti adathalmazok esetén vizuális nyelvi modellek (GPT-4V, Gemini vagy speciális feliratozási modellek) használatával történő automatikus annotáció szükséges. A minőségellenőrzéshez emberi felülvizsgálat szükséges a mintán, hogy kiszűrjék az automatikus annotátorban található szisztematikus hibákat.

Objektumszegmentálás és -követés

Az objektumállapotot elemző szabályzatok kihasználják az epizódonkénti szegmentációs maszkokat, amelyek azonosítják a manipulált objektumokat. A Meta Segment Anything Model (SAM 2) interaktív szegmentálást tesz lehetővé adathalmaz-skálán, órákról percekre csökkentve az epizódonkénti annotációs időt, ha egy követési terjedési menettel kombinálják.

Jutalmazásformálás az RLHF számára

Amikor az epizódok siker- és kudarcbemutatókat is tartalmaznak, a jutalomcímkézés lehetővé teszi a megerősítéses tanulást az emberi visszajelzés (RLHF) finomhangolásából. Az emberi annotátorok rangsorolják az epizódok kimenetelét, és ezek a preferenciák egy jutalmazási modellt képeznek ki, amely formálja a szabályzatfrissítéseket. Ezt a folyamatot használják a Physical Intelligence pi0 fejlesztésében, és jelenleg is vizsgálják ipari feladatok betanításához, ahol a bináris siker/kudarc címkék már elérhetők az MES-ből.

Adatvédelem, IP és adatkészlet-licencelés

A nyílt adathalmazokhoz való hozzájárulások szellemi tulajdonjogi kérdéseket vetnek fel, amelyeket az ipari OEM-eknek a részvétel előtt meg kell oldaniuk.

A főbb használt licenckategóriák a CC-BY (forrásmegjelölés szükséges, kereskedelmi felhasználás engedélyezett), a CC-BY-NC (csak nem kereskedelmi célú felhasználás) és az Apache 2.0 (engedélyezett, beleértve a kereskedelmi felhasználást és a modell súlyának újraelosztását). A saját fejlesztésű adatkészleteket (Tesla Optimus, Figure flottaadatai, Boston Dynamics) nem osztjuk meg külső felekkel.

A gyári OEM-ek (OEM-ek) számára a szellemi tulajdonnal kapcsolatos aggály a folyamattal kapcsolatos kitettség: egy adott szerszámkonfigurációt, szerszámpályát vagy befogási tervet bemutató epizód feltárhatja a szabadalmaztatott gyártási módszereket. A standard enyhítési módszer a vizuális kontextus eltávolítása az effektor szintjére, csak az ízületi pályaadatok (kameraadatok nélkül) hozzáadása, vagy a manipulációs pálya szintetikus rendereléseinek használata egy általános háttér előtt. Számos feltörekvő konzorciumi modell kínál jogi keretet az anonimizált ipari adatokhozzájárulásra kölcsönös titoktartási megállapodások és az Apache 2.0 adatlicencek kombinációja alapján.

A Stanford CRFM és munkatársai által a 2024-es robottanulási felmérésben végzett elemzés szerint a zárt adatsilók jelentik a legnagyobb strukturális akadályt a megtestesült mesterséges intelligencia jelenlegi referenciaértékeken túli fejlődésében. Azok az ipari OEM-ek, amelyek most fejlesztenek belső adatkezelési keretrendszereket, részt vehetnek az adatkészlet-konzorciumokban, amint ezek a programok a következő 18–24 hónapban formalizálódnak.

Hogyan járulhatnak hozzá az OEM-ek az adatokhoz?

Az ipari automatizálási beszállítók (beleértve a FANUC-ot, az ABB-t, a KUKA-t és a hitelesített kulcsrakész integrátorokat, mint például az EVST) a robot hardverek és a valós termelési környezetek metszéspontjában helyezkednek el. Ez a pozíció természetes módon hozzájárul a megtestesült mesterséges intelligencia adat ökoszisztémájához, amennyiben a működési és jogi keretrendszer rendelkezésre áll.

Kísérleti cellák teleoperációs átfedéssel

A legkönnyebben hozzáférhető belépési pont egy kísérleti cella, ahol a gyártórobotot egy teleoperációs felülettel szerelik fel: egy vezető-követő karral, amelyet a kezelő a gyártási feladat variációinak bemutatására használ. Ezeket a bemutatókat kis mennyiségben (50–500 epizód) gyűjtik össze, és elegendőek egy előre betanított VLA modell finomhangolásához az adott gyártási feladathoz. A kísérleti cella megközelítése nem igényli a gyártócella biztonsági tanúsítványának módosítását, mivel a teleoperációs rendszer a robotvezérlő bemeneti eszközeként működik, nem pedig párhuzamos vezérlési útvonalként.

Termelési robotok utólagos naplózása

A meglévő gyártórobotok utólag felszerelhetők könnyű naplózó modulokkal, amelyek EtherCAT sebességgel rögzítik az ízületek állapotát, az effektor pozícióját és a megfogó erejét, és a gyártás során időbélyeggel ellátott epizódfájlokat írnak egy peremhálózati szerverre. Ez nem igényli a robot vezérlőprogramjának módosítását. A naplózott adatok rögzítik a valós gyártási manipulációs viselkedést, amely inkább feladatreprezentatív, mint a laboratóriumi bemutatók. Az EVST ipari vezérlői, amelyek 1 kHz-es EtherCAT ciklusidőkben működnek és CE/SGS/TUV szabványoknak vannak tanúsítva, biztosítják azt a determinisztikus időzítési architektúrát, amelyre ez a naplózási megközelítés épül. Az adatok tisztíthatók, anonimizálhatók és formázhatók a standard robottanulási keretrendszerekhez költséges újraintegrációs munka nélkül.

Anonimizált adatkészlet programban való részvétel

Az újonnan megjelenő OEM adatkészlet-programok (beleértve az AgiBot World nyílt közreműködési sávját és számos konzorciumi megbeszélést az ICRA 2025-ön) elfogadják az anonimizált ipari manipulációs adatokat. Az IATF16949 tanúsítvánnyal rendelkező OEM-ek, mint például az EVST, meglévő minőségirányítási folyamatokkal rendelkeznek, amelyek jól megfelelnek a programok által meghatározott metaadat-integritási követelményeknek: nyomon követhető időbélyegek, dokumentált gyűjtési protokollok és validált érzékelőkalibrációs rekordok.

Globális terepi lefedettség, mint adatelőny

Egy több mint 100 országban terepi mérnökökkel rendelkező OEM valóban változatos gyártási környezetekből (különböző munkadarab-geometriák, környezeti feltételek, kezelői demográfiai adatok és folyamatvariációk) gyűjthet megtestesült MI-t alkalmazó betanítási adatokat. Ez a földrajzi sokféleség értékes, mert az ezen alapuló szabályzatok jobban általánosíthatók, mint az egyetlen laboratóriumból vagy létesítményből származó adatokon alapulók. Az EVST robbanásbiztos, tanúsított robotjai és teljes körű, 3–800 kg-os felhozatala azt jelenti, hogy az adatgyűjtés olyan környezetekre is kiterjedhet, mint a vegyipari feldolgozás, a veszélyes anyagok kezelése és a szélsőséges hőmérsékletű gyártás, amelyeket a legtöbb tudományos adatkészlet egyáltalán nem fed le.

Főbb iparági adatpontok

A Nemzetközi Robotikai Szövetség (IFR) 2024-es világrobotikai jelentése szerint 2023-ban több mint 3.9 millió ipari robot működött világszerte, mégis a legnagyobb nyílt robotmanipulációs adatkészletek összesen kevesebb mint 2 millió epizódot tartalmaznak, ami jól mutatja a telepített hardverek és a rendelkezésre álló betanítási adatok közötti méretbeli különbséget. Az EVST ezt az utólagos beszerelési naplózási architektúrák feltárásával kezeli, amelyek a termelési robotflottákat passzív adatgyűjtő eszközökké alakítják.

Az Open X-Embodiment tanulmány (Padalkar et al., Google DeepMind et al., 2023) szerint a több mint 22 robottípustól származó, kereszt-megtestesülési adatokon betanított modellek mérhetően jobb általánosítást mutattak a kitartott feladatokon, mint az egyetlen megtestesülési adaton önmagában betanított modellek. Az EVST ezt úgy kezeli, hogy belső adatértékelési keretrendszerét úgy strukturálja, hogy a megtestesülési diverzitást az epizódszám mellett súlyozza, amikor az adatkészlet hasznosságát értékeli a gyártósori finomhangolási értékelésekhez.

Több robotikai tanulási laboratórium 2024–2025-ös iparági megfigyelései szerint a vizuális szimuláció és a valóság közötti rés a manipulációs feladatokban előforduló szabályhibák többségét teszi ki, amelyek tükröződő vagy átlátszó objektumokat érintenek, amelyeket a standard tartományrandomizációs technikák nem fednek le megbízhatóan. Az EVST ezt a problémát a fotorealisztikus szimulációs eszközök (konkrétan az NVIDIA Cosmos és a Gaussian Splatting csővezetékek) monitorozásával kezeli, mint jelölt augmentációs rétegeket a mesterséges intelligenciával továbbfejlesztett mozgástervezési ütemtervéhez.

Kapcsolódó útmutatók

• Megtestesült MI és VLA modellek az ipari robotikában: Amit a gyármérnököknek tudniuk kellLefedi a látás-nyelv-cselekvés modellek architektúráját és azok telepítési korlátait éles hardvereken.
• Humanoid robotok az ipari gyártásban 2026-banMegvizsgálja, hogy mely feladatok oldhatók meg valóban humanoid platformokkal a hagyományos ipari fegyverekkel szemben.
• Humanoid robotok vs. ipari robotkarok gyári használatra 2026-banA két formatényező képességeinek, költségeinek és integrációs bonyolultságának közvetlen összehasonlítása.
• Teljes körű útmutató a kobotokhoz: típusok, kiválasztás és alkalmazások 2026-banAz együttműködő robotok kiválasztásának alapvető referenciaalapja a hasznos teher, az alkalmazás és a környezeti követelmények függvényében.

Gyakran ismételt kérdések

Miért nehezebb a megtestesült mesterséges intelligencia általi adatgyűjtés, mint a nyelvi modellekhez való adatgyűjtés?

A nyelvi modellek olyan szövegeken tanulnak, amelyek már hatalmas léptékben léteznek az interneten. A megtestesült mesterséges intelligencia robotoknak cselekvéspárosított szenzorimotoros adatokat kell gyűjteniük: szinkronizált ízületi szögeket, megfogó erőket, kameraképeket és a feladat kontextusát, amelyeket mind a fizikai manipuláció során rögzítenek. Ezek az adatok webes szinten nem léteznek, és előállításuk költséges. Minden egyes távvezérelt epizód jellemzően 1-10 percnyi képzett kezelői időt vesz igénybe egyetlen képzési pálya elkészítéséhez, és a minőség romlik, ha a kezelő nem ismeri a robot dinamikáját.

Mi a különbség a szimulációból a valóságba történő átvitel és a domain randomizálás között a robotképzésben?

A szimulációból a valóságba való átvitel az átfogó cél: egy szabályzat szimulációban történő betanítása és fizikai roboton történő alkalmazása a teljesítmény összeomlása nélkül. A tartományrandomizálás az egyik technika ennek a célnak az eléréséhez. Véletlenszerűen változtatja a szimulációs paramétereket – megvilágítást, textúrákat, súrlódási együtthatókat, objektumtömegeket – a betanítás során, így a szabályzat megtanulja kezelni a valós világbeli változásokat, ahelyett, hogy egyetlen szimulált megjelenéshez illeszkedne. További módszerek közé tartozik a tartományadaptáció, a fotorealisztikus renderelés (mint az NVIDIA Cosmosban) és a rendszerazonosítás.

Mi az Open X-Embodiment, és hány robottípust fed le?

Az Open X-Embodiment egy nagyméretű, nyílt robottanulási adathalmaz, amelyet a Google DeepMind állított össze 33 kutatóintézet közreműködésével. Több mint 1 millió robotepizódot összesít több mint 22 robotmegvalósítási módban – egykarú manipulátorok, kétkezes állványok, mobil bázisok és ügyes kezek. Az OXE-n betanított RT-X modellek kimutatták, hogy a keresztmegvalósításos betanítás javítja a szabálygeneralizációt az egymegvalósításos alapverziókhoz képest.

Hogyan tud egy gyári OEM robotadatokkal hozzájárulni a megtestesült mesterséges intelligencia képzéséhez anélkül, hogy felfedné a saját folyamataiban használt szellemi tulajdont?

A legpraktikusabb megközelítés az anonim epizódhozzájárulás: a folyamatot azonosító metaadatok (alkatrészszámok, ügyfélreferenciák, ciklusidő-célok) eltávolítása, és csak az ízületi pálya és a megfogó állapotáradatokkal való együttműködés. Számos adatkészlet-kezelő program – beleértve az AgiBot Worldöt és a feltörekvő OEM konzorciumi kezdeményezéseket – elfogadja az anonimizált ipari manipulációs adatokat Apache 2.0 vagy CC-BY feltételek mellett. A determinisztikus EtherCAT időbélyegekkel rendelkező naplózási infrastruktúra biztosítja, hogy az epizódok minősége megfeleljen az adatkészlet-beviteli szabványoknak.

Melyik teleoperációs adatgyűjtő rendszer működik a legjobban ipari manipulációs feladatokhoz?

Ipari manipulációhoz a vezető lehetőségek az ALOHA 2 (kétkezes vezető-követő karok, alacsony költségű, nyílt forráskódú), az UMI (csuklóra szerelhető, a robottól leválasztott, könnyen hordozható), valamint az exoskeleton alapú rögzítés a nagyobb hasznos terhelésű vagy teljes testet megmozgató feladatokhoz. Az Apple Vision Pro vagy a Meta Quest 3 szoftvert használó VR-eszközök egyre népszerűbbek az intuitív kétkezes rögzítéshez, de a csővezetékek újratervezését igénylik az emberi kéz kinematikájának a robot ízületi terébe való lefordításához. A helyes választás a célrobot szabadságfokától, hasznos terhelésétől és attól függ, hogy a feladat két kezet igényel-e.

Utolsó frissítés: április 23, 2026

Tekintse meg Megtestesült mesterséges intelligencia megoldások →