Ажурирано: Април КСНУМКС, КСНУМКС

Прикупљање података за отелотворену вештачку интелигенцију: телеоперација, симулација у реалност и индустријски скупови података у 2026. години

Подаци су уско грло за отеловљену вештачку интелигенцију, а не рачунарство. Обука роботске политике захтева синхронизоване токове акционог стања који једноставно не постоје на интернет скали. Три извора тренутно задовољавају ту потражњу. Људска телеоперација даје висококвалитетне демонстрације по цену времена оператера. Пренос из симулације у стварност скалира број епизода, али уводи јаз у верности. Велики отворени скупови података обједињују доприносе десетина лабораторија и платформи.

Зашто су подаци уско грло отелотворене вештачке интелигенције

Рачунарство је пратило предвидљиву криву скалирања. ГПУ кластери способни за тренирање модела визуелно-језичке-акције (VLA) са милијарду параметара данас су комерцијално доступни. Оно што се није скалирало јесу подаци који су тим моделима потребни: упарена запажања и акције снимљене током физичке манипулације роботом, са довољно разноликости задатака и отелотворења да би се произвеле политике које се генерализују.

Језички модел може да унесе трилион токена са веба за неколико недеља. Скуп података о манипулацији роботима мора се генерисати епизода по епизода, а свака захтева физичког робота, стварно или симулирано окружење, дефиницију задатка и или људског оператера или скриптовану демонстрацију. Међународна федерација за роботику (IFR) процењује да је преко 3.9 милиона индустријских робота радило широм света 2024. године, али највећи отворени скупови података о манипулацији садрже око милион епизода. Јаз се не смањује брзо.

Изазов се увећава када се узме у обзир јаз у отелотворењу: политика обучена на манипулатору са једном руком и 6 степени слободе не преноси се лако на бимануелни хуманоид или мобилну базу са руком. Сваки нови фактор форме робота ефикасно ресетује захтеве за подацима. Приступи груписања акција (где политика емитује вишестепене акционе секвенце уместо појединачних корака) смањују латенцију закључивања, али не смањују потребу за разноврсним покривањем обуке.

Према раду Open X-Embodiment (Padalkar et al., 2023, Google DeepMind et al.), обука за унакрсну имплементацију на различитим подацима о роботима може побољшати генерализацију политика изван онога што пружају скупови података са једним имплементацијом. EVST се бави овим проблемом проценом квалитета скупова података са унакрсном имплементацијом као дела свог интерног процеса процене приликом избора планирања кретања проширеног вештачком интелигенцијом за своју линију робота пуног опсега од 3 до 800 кг. За хардверску страну ове стратегије података, видети EVST решења за уграђену вештачку интелигенцију, укључујући хуманоидне роботе, спретне руке за прикупљање података, четвороножне роботе и пилот платформе за развој отеловљене вештачке интелигенције.

Три главна извора података: предности и ограничења

Телеоперација

Телеоперација снима демонстрације стручног квалитета на циљном хардверу робота. Оператор контролише робота даљински, путем вођа-пратилачких руку, ВР слушалица, егзоскелетних одела или ручних интерфејса, док систем синхроно бележи сваки угао зглоба, стање хватаљке, очитавање силе и кадар камере. Пошто подаци долазе од човека који обавља стварни задатак на стварном роботу, подударност између радње и стања је тачна, а јаз између отелотворења је нула.

Ограничење је пропусни опсег. Вешти телеоператори производе отприлике 5–50 епизода на сат, у зависности од сложености задатка, а квалитет података се смањује када се оператери уморе. Телеоперација се такође не може скалирати до опоравка од кварова без промишљеног дизајна протокола: ако оператери увек успевају, политика никада не научи да се опоравља од поремећаја.

Пренос са симулације на стварност

Симулатори физике (MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet) омогућавају истраживачима да генеришу милионе епизода робота уз скоро нулте маргиналне трошкове. Један GPU кластер може да покрене хиљаде паралелних инстанци симулације преко ноћи. Трошкови се показују приликом имплементације: политике обучене у симулацији често не успевају када се суоче са динамиком контакта у стварном свету, шумом сензора и визуелним варијацијама које симулатор није тачно реплицирао. Смањење овог јаза између симулације и стварности је активно подручје истраживања.

Интернет видео и пасивно посматрање

Велики модели визуелног језика, претходно обучени на интернет видеу, пружају опште разумевање сцене што помаже у успостављању задатка. pi0 архитектура компаније Physical Intelligence и слични VLA дизајни користе видео претходну обуку за унапређење вештина манипулације пре финог подешавања на демонстрацијама робота. Ограничење је у томе што видео не пружа ознаке акција: видео приказује руку која хвата предмет, али не бележи примењену силу или углове зглобова еквивалентне роботске руке. Модели инверзне динамике могу делимично закључити акције из видеа, али резултујуће псеудо-ознаке носе шум.

Хардвер и протоколи за телеоперацију

Избор телеоперативног интерфејса обликује и квалитет података и пропусност прикупљања. У наставку су наведени системи који су најактивнији у истраживачким и комерцијалним програмима 2025–2026. године.

Вођа-следбеник: ALOHA и мобилни ALOHA

АЛОХА (Јефтин систем отвореног кода за бимануелну телеоперацију) је развијен на Станфорду и користи две јефтине водеће руке које оператер помера ручно, док две упарене пратеће руке на роботу реплицирају кретање у реалном времену. Бимануелни дизајн обухвата задатке са две руке које системи са једном руком не могу. Мобилна АЛОХА проширује платформу на мобилну базу. АЛОХА 2, објављена 2024. године, побољшала је прецизност праћења зглобова и ергономију оператера. Цена хардвера је испод 20,000 долара за пар вођа-пратилац, што је довело до усвајања у десетинама академских лабораторија.

Интерфејси за монтажу на зглоб: UMI

Универзални манипулациони интерфејс (UMI), са Станфорда и Колумбије, монтира камеру типа „рибље око“ и енкодер на ручни хватаљку. Оператор физички демонстрира задатак у окружењу док хватаљка бележи положај и стање хватања крајњег ефектора. UMI одваја прикупљање података од робота: демонстрације се могу прикупљати на терену, а касније се преусмерити на различите имплементације робота. Ово га чини посебно корисним за прикупљање података о манипулацији у природи, ван лабораторијског окружења.

VR и екрани који се монтирају на главу

Apple Vision Pro и Meta Quest 3 се истражују као интерфејси за телеоперацију. Привлачност је бимануелно праћење руке са шест степени слободе и интуитивна контрола оператера. Инжењерски изазов је преусмеравање: кинематика људске руке (пет прстију, 27 зглобова) мора се мапирати на команде крајњег ефектора робота (обично хватаљке са 1 степеном слободе или спретне руке са 12–16 степени слободе). Без пажљивог преусмеравања, снимљене демонстрације садрже намеру оператера, али не и директно извршне радње робота.

Егзоскелет и снимање целог тела

За хуманоидне роботе којима су потребни подаци о кретању целог тела (укључујући кретање комбиновано са манипулацијом), егзоскелетна одела снимају кинематику целог тела при фреквенцијама узорковања изнад 100 Hz. AgiBot користи приступ заснован на егзоскелету за прикупљање података о манипулацији хуманоида за свој скуп података AgiBot World. Телеоперација Фурије GR-1 се слично ослања на носиву опрему за снимање усклађену са конфигурацијом зглобова робота.

Фигура и велике комерцијалне флоте

Компанија Figure AI управља сопственом флотом телеоп робота у оквиру своје производње у BMW-у. Модел замајца података, у којем сваки распоређени робот прикупља нове епизоде ​​које се враћају у обуку, такође је кључан за развојну стратегију компаније Tesla Optimus. Ови системи затворене петље акумулирају индустријске податке брзином коју отворени академски скупови података не могу да достигну.

Поређење платформи за телеоперације

Напомена: бројке о пропусности су приближни распони из објављених истраживања и извештаја истраживача. Вештине појединачних оператера и сложеност задатка значајно утичу на резултате.

Јавни скупови података: Open X-Embodiment, DROID, BridgeData, RoboSet, RH20T, AgiBot World

Екосистем отворених скупова података се брзо ширио од 2022. године. У наставку је преглед најцитиранијих колекција од почетка 2026. године.

Отворено X-оличење (OXE) и RT-X

Састављен од стране Google DeepMind-а са 33 институције које доприносе, OXE агрегира преко милион епизода за више од 22 типа робота. Повезани RT-X модели показали су да обука на обједињеним подацима о унакрсним имплементацијама надмашује основне вредности за појединачне имплементације у погледу генерализационих бенчмаркова. OXE је објављен под комбинацијом CC-BY и Apache 2.0 лиценци, у зависности од институције која доприноси. Приступ је омогућен преко RT-X веб странице и HuggingFace-а.

ДРОИД

DROID (Дистрибуирани скуп података о интеракцији робота) је прикупљен у 13 северноамеричких истраживачких лабораторија коришћењем стандардизованог Franka Panda система са ALOHA интерфејсом за телеоперацију. Садржи приближно 76,000 епизода различитих задатака манипулације у домаћинству и на столу. Стандардизовани хардвер на свим локацијама чини DROID једним од најчистијих скупова података о манипулацији великих размера за клонирање понашања и RLHF експерименте.

БриџДата В2

BridgeData V2, са Универзитета Калифорније у Берклију и Станфорду, садржи приближно 60,000 демонстрација за широк спектар задатака манипулације столом. Користи WidowX руку и одликује се разноликошћу задатака (преко 70 различитих категорија задатака), што га чини уобичајеном основом за фино подешавање VLA модела. Објављено под лиценцом CC-BY 4.0.

РобоСет

RoboSet, из IIT Delhi и сарадника, пружа податке о вишеструким манипулацијама у кухињи прикупљене помоћу Franka Panda уређаја. Укључује RGB-D посматрања и језичке анотације за сваку епизоду. RoboSet је посебно дизајниран да подржи процену политика условљених језиком, што га чини корисним за тестирање генерализације праћења инструкција.

РХ20Т

RH20T (Robot-Human 20 Tasks) је скуп података за манипулацију великим количинама, богат контактима и који садржи синхронизовану роботску проприоцепцију, RGB видео, дубинске, тактилне и аудио стримове. Мултимодално богатство чини RH20T референцом за истраживаче који раде на политикама којима је потребно сензорско посматрање контакта, а не само визуелно посматрање.

АгиБот Ворлд

АгиБот Ворлд је скуп података о манипулацији хуманоидима који је произвела АгиБот, кинеска компанија за роботику, користећи свој систем за прикупљање података заснован на егзоскелету. Фокусира се на задатке манипулације хуманоидима целог тела и представља један од првих скупова података великих размера који се посебно баве хуманоидним факторима форме у индустријским размерама. АгиБот Ворлд је доступан под отвореном истраживачком лиценцом за некомерцијалну употребу.

Референца за јавни скуп података о утемељеној вештачкој интелигенцији

Број епизода и услови лиценце преузети су из радова са скуповима података и званичних репозиторијума од почетка 2026. Проверите тренутне услове пре употребе.

Сим-то-Реал стек: Исак Сим, МуЏоКо, Космос и рандомизација домена

Симулација скалира генерисање података. Практично питање је који симулатор користити и како смањити разлику између симулатора и физичког хардвера.

МуЈоЦо

MuJoCo (Multi-Joint dynamics with Contact - вишезглобна динамика са контактом) остаје стандард за истраживање манипулације богате контактима. Његов физички механизам обрађује динамику крутог тела, меке контакте и системе активиране тетивама са рачунарском ефикасношћу која омогућава хиљаде паралелних епизода обуке на једном GPU кластеру. Издање отвореног кода под Google DeepMind-ом 2022. године значајно је убрзало усвајање. Већина академског клонирања понашања и RLHF бенчмаркова користи MuJoCo окружења.

NVIDIA Исак Сим и Исак Лаб

Исак Сим ради на NVIDIA-иној Omniverse платформи и пружа GPU-убрзану физику са висококвалитетним рендеровањем. Исак Лаб (раније OmniIsaacGymEnvs) је оквир за учење са појачањем изграђен на Исаку Симу, оптимизован за масовно паралелно тренирање политика. Кључна предност је фотореалистично рендеровање: Исаак Симови визуелни прикази са праћењем путање смањују јаз у визуелном домену у поређењу са MuJoCo-овим поједностављеним рендерерима, што је важно за тренирање политика заснованих на виду.

NVIDIA Cosmos

Космос је NVIDIA-ина платформа за моделирање светских основа, најављена крајем 2024. године. Уместо симулације физике из основних принципа, Космос генерише фотореалистичне видео снимке интеракција робота и објеката из текстуалних или сликовних упутстава, обучених на великим видео скуповима података. Циљ је генерисање синтетичких података за обуку који изгледају довољно реално да би се затворио јаз између визуелне симулације и стварности без ручно израђене рандомизације домена. Од почетка 2026. године, Космос истражује неколико лабораторија за учење робота као слој за проширивање података поред стварних демонстрација.

Гаусовско распршивање и реконструкција сцене

3Д Гаусов сплатинг реконструише фотореалистичне сцене из малог скупа RGB слика за неколико минута уместо сати. За обуку робота, ово значи да лабораторија може скенирати ново радно окружење, реконструисати Гаусову сцену и генерисати нове гледишта или конфигурације објеката за проширење података, без потребе за физичким симулатором. Овај приступ се интегрише у неколико цевовода за претварање из симулације у стварност као јефтин алат за рандомизацију визуелног домена.

Рандомизација домена и идентификација система

Рандомизација домена рандомизује параметре симулације (текстуре објеката, услове осветљења, коефицијенте трења, крутост зглобова робота) током обуке, приморавајући политику да буде отпорна на варијације, уместо да се прилагоди једној симулираној конфигурацији. Идентификација система користи комплементарни приступ: прецизно мери физичке параметре стварног робота (масу, инерцију, попустљивост зглобова) и користи те вредности у симулацији да би се минимизирао јаз пре рандомизације.

Учење кроз курикулум примењује рандомизацију прогресивно. Политика се прво обучава у уској, чистој симулацији, а затим постепено наилази на веће варијације како се перформансе побољшавају. Овај фазни приступ често конвергира брже него примена потпуне рандомизације од самог почетка.

Компромиси између квалитета података и количине

Више података не значи аутоматски боље. Састав скупа података обликује шта обучена политика може, а шта не може да уради.

Разноликост задатака је важнија од броја епизода када је циљ генерализована политика. Скуп података од 100,000 епизода истог задатка „изабери и постави“ производи специјалисту. Скуп података од 10,000 епизода распоређених у 50 типова задатака може произвести политику која се преноси на нове задатке након неколико финих подешавања.

Разноликост отелотворења је важна за пренос између робота. Вредност OXE методе је управо у томе што обухвата типове руку, мобилне платформе и спретне руке. Политика претходно обучена на OXE методи и фино подешена на новом роботу обично надмашује ону обучену од нуле само на подацима истог новог робота, што је резултат који је доследан у више објављених студија.

Дужина епизоде ​​и опоравак од отказа су потцењени. Скупови података које прикупљају вешти телеоператори који ретко греше производе политике које не знају како да се опораве од поремећаја. Намерно убризгавање стања отказа и демонстрације опоравка значајно побољшавају отпорност у стварном свету. Неке лабораторије користе супарничке поремећаје током сесија телеоперације да би генерисале ове податке.

Према запажањима индустрије из више извештаја лабораторија за учење робота у периоду 2024–2025, гранична вредност додатних епизода нагло опада када скуп података покрије задатак на отприлике 500–1,000 демонстрација, док гранична вредност нових типова задатака остаје висока и до хиљада различитих задатака. EVST ово узима у обзир приликом структурирања ћелија за снимање пилот података, дајући приоритет ширини задатака у односу на акумулацију понављајућих епизода.

Разматрања података индустријског квалитета

Прикупљање фабричких података намеће захтеве које академске телеоперативне поставке обично не испуњавају.

Детерминистичко евидентирање је први захтев. У производној ћелији, временска ознака на очитавању зглобног енкодера мора бити пратива до референце зидног сата са тачношћу испод милисекунде. EtherCAT 1 kHz fieldbus контрола, стандардна на индустријским роботима (укључујући и оне у EVST-овој линији), пружа детерминистичку основу за време која омогућава синхронизацију више сензора. Систем који ради на 1 kHz генерише 1,000 узорака стања зглоба у секунди по оси; усклађивање тог тока са кадровима камере при 30–60 fps и подацима о сили и обртном моменту при 500 Hz захтева дисциплиновану хардверску архитектуру временског означавања, а не софтверско баферовање.

Безбедносне ознаке су потребне када епизоде ​​укључују догађаје блиског промашаја, активације хитних заустављања или кршења ограничења силе. Ове ознаке су неопходне и за усклађеност и за политике обуке које разумеју стања релевантна за безбедност. Индустријски контролери који евидентирају узроке хитних заустављања и прекорачења обртног момента зглобова на нивоу хардвера чине ово означавање лаким за праћење.

Анотација времена циклуса повезује епизоде ​​робота са резултатима производње. Знање да је епизода 4,712 завршила задатак монтаже за 8.3 секунде са нултим ознакама квалитета повезује податке о учењу робота са MES системом и омогућава избор висококвалитетних демонстрација за обуку.

Метаподаци повезани са MES-ом су мост. Када систем за евидентирање података робота уписује датотеке епизода са приложеним MES ИД-овима послова, типовима делова и резултатима квалитета, резултујући скуп података може се програмски филтрирати. Епизоде ​​повезане са преправком, отпадом или заобилажењем оператера могу се искључити или третирати као демонстрације кварова.

У пракси, приликом накнадне опреме пилот ћелије за прикупљање података, најчешће уско грло није могућност евидентирања података од стране робота, већ мрежна архитектура ћелије. Индустријски етернет сегменти који су дизајнирани за комуникацију између PLC-а и робота брзинама испод kHz нису увек димензионисани за пропусни опсег континуираног видеа са више камера плус проприоцептивних токова. Ћелија која покреће две 1080p камере при 30 fps плус податке о сили са шест оса плус стања зглобова генерише отприлике 150–300 MB по минуту сирових података о епизодама. Планирање инфраструктуре за складиштење и мрежу пре распоређивања избегава касније трошкове накнадне опреме.

Означавање цевовода и алата

Сирови снимци епизода нису спремни за обуку. Потребне су им језичке анотације, маске за сегментацију објеката, а у неким случајевима и ознаке награда.

Језичка анотација

Језички условљени VLA модели захтевају опис задатка сваке епизоде ​​на природном језику. За мале скупове података то се ради ручно; за скупове података преко 10,000 епизода, аутоматска анотација коришћењем модела визуелног језика (GPT-4V, Gemini или специјализовани модели титловања) постаје неопходна. Контрола квалитета захтева људски преглед узорка како би се откриле систематске грешке у аутоматском анотатору.

Сегментација и праћење објеката

Политике које образлажу о стању објекта имају користи од маски сегментације по епизоди које идентификују манипулисане објекте. Модел сегментирања било чега (SAM 2) од Мете чини интерактивну сегментацију обрадивом на нивоу скупа података, смањујући време анотације са сати на минуте по епизоди када се комбинује са пролазом за праћење пропагације.

Обликовање награде за RLHF

Када епизоде ​​укључују демонстрације и успеха и неуспеха, обележавање награда омогућава фино подешавање учења појачањем из људских повратних информација (RLHF). Људски анотатори рангирају исходе епизода, а те преференције обучавају модел награђивања који обликује ажурирања политика. Овај процес се користи у развоју pi0 компаније Physical Intelligence и истражује се за обуку индустријских задатака где су бинарне ознаке успеха/неуспеха већ доступне из MES-а.

Приватност, интелектуална својина и лиценцирање скупова података

Доприноси отворених скупова података покрећу питања интелектуалне својине која индустријски произвођачи оригиналне опреме морају да реше пре него што учествују.

Главне категорије лиценци које се користе су CC-BY (потребно је навођење ауторства, дозвољена је комерцијална употреба), CC-BY-NC (само за некомерцијалну употребу) и Apache 2.0 (дозвољено, укључујући комерцијалну употребу и прерасподелу тежине модела). Власнички скупови података (Tesla Optimus, подаци о возном парку компаније Figure, Boston Dynamics) се не деле споља.

За произвођаче оригиналне опреме у фабрикама, забринутост у вези са интелектуалном својином је изложеност процеса: епизода која приказује специфичну конфигурацију џигања, путању алата или дизајн причвршћивача може открити власничке методе производње. Стандардно ублажавање је уклањање визуелног контекста до нивоа крајњег ефектора, допринос само токовима заједничке путање (без података са камере) или коришћење синтетичких приказа путање манипулације на генеричкој позадини. Неколико нових конзорцијумских модела нуди правне оквире за анонимни допринос индустријских података у оквиру међусобних споразума о неоткривању података у комбинацији са Apache 2.0 лиценцама за податке.

Према анализи коју су спровели Станфорд CRFM и сарадници у истраживању о учењу робота из 2024. године, власнички силоси података представљају највећу структурну препреку за напредак отелотворене вештачке интелигенције изнад тренутних референтних вредности. Индустријски произвођачи оригиналне опреме (OEM) који сада развијају интерне оквире за управљање подацима биће позиционирани да учествују у конзорцијумима за скупове података како се ти програми формализују у наредних 18–24 месеца.

Како фабрички произвођачи оригиналне опреме могу допринети подацима

Добављачи индустријске аутоматизације (укључујући FANUC, ABB, KUKA и сертификоване интеграторе по принципу „кључ у руке“ као што је EVST) налазе се на пресеку роботског хардвера и стварних производних окружења. Та позиција их чини природним доприносиоцима отелотвореном екосистему података вештачке интелигенције ако је успостављен оперативни и правни оквир.

Пилот ћелије са телеоперативним преклапањем

Најприступачнија улазна тачка је пилот ћелија где је производни робот опремљен телеоперационим преклапањем: руком вођа-пратилац коју оператер користи за демонстрацију варијација производног задатка. Ове демонстрације се прикупљају у малом обиму (50–500 епизода) и довољне су за фино подешавање претходно обученог VLA модела за одређени производни задатак. Приступ пилот ћелије не захтева промене безбедносне сертификације производне ћелије јер телеоперациони систем функционише као улазни уређај за контролер робота, а не као паралелна контролна путања.

Накнадна уградња евидентирања на производним роботима

Постојећи производни роботи могу се накнадно опремити лаганим модулима за евидентирање који бележе стање зглобова, положај крајњег ефектора и силу хватаљке брзинама EtherCAT-а, записујући временски означене датотеке епизода на edge сервер током производних циклуса. Ово не захтева промену у програму управљања роботом. Забележени подаци бележе стварно понашање манипулације у производњи, што је репрезентативније за задатак од лабораторијских демонстрација. EVST-ови индустријски контролери, који раде на EtherCAT циклусима од 1 kHz и сертификовани су према CE/SGS/TUV стандардима, пружају детерминистичку архитектуру времена на којој овај приступ евидентирању зависи. Подаци се могу очистити, анонимизовати и форматирати за стандардне оквире за учење робота без скупог рада на реинтеграцији.

Учешће у програму анонимизованих скупова података

Нови програми за скупове података произвођача оригиналне опреме (укључујући отворени програм доприноса AgiBot World-а и неколико конзорцијумских дискусија на ICRA 2025) прихватају анонимизоване податке о индустријској манипулацији. Произвођачи оригиналне опреме са IATF16949 сертификатом, попут EVST-а, имају постојеће процесе управљања квалитетом који се добро преводе са захтевима за интегритет метаподатака које ови програми наводе: временске ознаке које се могу пратити, документовани протоколи прикупљања и валидирани записи о калибрацији сензора.

Глобална покривеност терена као предност података

Произвођач оригиналне опреме (OEM) са теренским инжењерима у преко 100 земаља може да прикупља податке о обуци за вештачку интелигенцију из заиста различитих производних окружења (различите геометрије радних предмета, услови околине, демографија оператера и варијације процеса). Ова географска разноликост је вредна јер се политике обучене на њој боље генерализују од оних обучених на подацима из једне лабораторије или постројења. EVST-ови роботи сертификовани за експлозијску заштиту и пуна линија од 3–800 кг значе да се прикупљање података може проширити на окружења као што су хемијска прерада, руковање опасним материјалима и производња на екстремним температурама које већина академских скупова података уопште не покрива.

Кључни подаци из индустрије

Према извештају Међународне федерације за роботику (IFR) „Светска роботика 2024“, преко 3.9 милиона индустријских робота је било у раду широм света 2023. године, али највећи отворени скупови података о манипулацији роботима садрже мање од 2 милиона епизода заједно, што илуструје разлику у обиму између распоређеног хардвера и доступних података за обуку. EVST се бави овим проблемом истраживањем архитектура за евидентирање накнада које претварају флоте производних робота у пасивна средства за прикупљање података.

Према раду Open X-Embodiment (Padalkar et al., Google DeepMind et al., 2023), модели обучени на подацима о унакрсним имплементацијама од преко 22 типа робота показали су мерљиво бољу генерализацију на задацима који се задржавају него модели обучени само на подацима било које појединачне имплементације. EVST се бави овим структурирањем свог интерног оквира за процену података како би се разноликост имплементација проценила заједно са бројем епизода приликом процене корисности скупа података за своје фине евалуације производне линије.

Према запажањима индустрије из више лабораторија за учење робота у периоду 2024–2025, јаз између визуелне симулације и стварности представља већину случајева неуспеха политика у задацима манипулације који укључују рефлексне или транспарентне објекте, које стандардне технике рандомизације домена не покривају поуздано. EVST се бави овим проблемом праћењем фотореалистичних алата за симулацију (посебно NVIDIA Cosmos и Gaussian Splatting pipelines) као кандидата за слојеве аугментације за своју мапу пута за планирање кретања побољшано вештачком интелигенцијом.

Повезани водичи

• Уграђени вештачка интелигенција и VLA модели у индустријској роботици: Шта фабрички инжењери треба да знајуПокрива архитектуру модела визије-језика-акције и њихова ограничења примене на производном хардверу.
• Хуманоидни роботи у индустријској производњи 2026.Испитује које задатке хуманоидне платформе заиста могу да обаве у односу на конвенционалне индустријске руке.
• Хуманоидни роботи наспрам индустријских роботских руку за фабричку употребу 2026. годинеДиректно поређење могућности, трошкова и сложености интеграције између два форм фактора.
• Комплетан водич за коботе: Врсте, избор и примене у 2026. годиниОсновна референца за колаборативни избор робота у погледу носивости, примене и захтева окружења.

Најчешћа питања (FAQ)

Зашто је прикупљање података о отеловљеној вештачкој интелигенцији теже од прикупљања података за језичке моделе?

Језички модели се тренирају на тексту који већ постоји на интернету у огромним размерама. Утеловљени вештачки интелигентни роботи морају да прикупљају сензомоторне податке упарене са акцијама: синхронизоване углове зглобова, силе хватаљке, кадрове камере и контекст задатка, све снимљено током физичке манипулације. Ти подаци не постоје на веб скали и скупи су за генерисање. Свака телеоперативна епизода обично захтева 1–10 минута времена вештог оператера да би се произвела једна путања обуке, а квалитет се смањује ако оператер није упознат са динамиком робота.

Која је разлика између преноса из симулације у стварност и рандомизације домена у обуци робота?

Пренос из симулације у стварни свет је општи циљ: тренирати политику у симулацији и применити је на физичком роботу без пада перформанси. Рандомизација домена је једна од техника за постизање тог циља. Она насумично мења параметре симулације - осветљење, текстуре, коефицијенте трења, масе објеката - током тренирања, тако да политика учи да се носи са варијацијама у стварном свету, уместо да се превише прилагођава једном симулираном изгледу. Друге методе укључују адаптацију домена, фотореалистично рендеровање (као у NVIDIA Cosmos) и идентификацију система.

Шта је Open X-Embodiment и колико врста робота покрива?

Open X-Embodiment је велики скуп података о учењу робота који је саставио Google DeepMind са 33 истраживачке институције које доприносе. Он агрегира преко милион епизода рада робота у више од 22 отелотворења робота – манипулаторима са једном руком, бимануелним платформама, мобилним базама и спретним рукама. RT-X модели обучени на OXE показали су да обука за унакрсна отелотворења побољшава генерализацију политика у поређењу са основним линијама за једно отелотворење.

Како произвођач оригиналне опреме у фабрици може допринети подацима о роботима за обуку отеловљене вештачке интелигенције без откривања власничког интелектуалног својства процеса?

Најпрактичнији приступ је анонимизовани допринос епизодама: уклањање метаподатака који идентификују процес (бројеви делова, референце купаца, циљеви времена циклуса) и допринос само токовима заједничке путање и стања хватаљке. Неколико програма за скупове података - укључујући AgiBot World и нове иницијативе конзорцијума произвођача оригиналне опреме - прихватају деидентификоване податке о индустријској манипулацији под условима лиценце Apache 2.0 или CC-BY. Инфраструктура за евидентирање са детерминистичким временским ознакама EtherCAT осигурава да квалитет епизода испуњава стандарде пријема скупова података.

Који систем за прикупљање података о телеоперацији најбоље функционише за задатке индустријске манипулације?

За индустријску манипулацију, водеће опције су ALOHA 2 (бимануелне руке вођа-пратилац, ниска цена, отвореног кода), UMI (монтиран на зглоб, одвојен од робота, лако преносив) и снимање засновано на егзоскелету за задатке са већим корисним теретом или за задатке целог тела. VR ригови који користе Apple Vision Pro или Meta Quest 3 добијају на замаху за интуитивно бимануелно снимање, али захтевају преусмеравање цевовода како би се кинематика људске руке превела у зглобни простор робота. Прави избор зависи од степена слободе циљног робота, корисног терета и да ли задатак захтева две руке.

Ажурирано: Април КСНУМКС, КСНУМКС

Погледајте наше Решења са уграђеном вештачком интелигенцијом →