Останнє оновлення: 23 квітня 2026 року

Збір даних для втіленого штучного інтелекту: телеоперації, симуляції в реальність та промислові набори даних у 2026 році

Дані є вузьким місцем для втіленого ШІ, а не обчислення. Навчання політики робота вимагає синхронізованих потоків дій і станів, яких просто немає в масштабі Інтернету. Наразі три джерела задовольняють цей попит. Телеоперація людини забезпечує високоякісні демонстрації за рахунок часу оператора. Перенесення симуляції в реальний стан масштабує кількість епізодів, але створює розрив у точності. Великі відкриті набори даних об'єднують внески з десятків лабораторій та платформ.

Чому дані є вузьким місцем втіленого штучного інтелекту

Обчислення розвивалися за передбачуваною кривою масштабування. Кластери графічних процесорів, здатні навчати моделі зорово-мовних дій (VLA) з мільярдами параметрів, сьогодні є комерційно доступними. Що не масштабувалося, так це дані, необхідні цим моделям: парні спостереження та дії, записані під час фізичних маніпуляцій з роботом, з достатньою різноманітністю завдань та втілень для створення узагальнюючих політик.

Мовна модель може отримати трильйон токенів з Інтернету за кілька тижнів. Набір даних про маніпуляції роботами має генеруватися епізод за епізодом, кожен з яких вимагає фізичного робота, реального або змодельованого середовища, визначення завдання та або оператора-людини, або сценарійної демонстрації. Міжнародна федерація робототехніки (IFR) оцінює, що у 2024 році у світі працювало понад 3.9 мільйона промислових роботів, проте найбільші відкриті набори даних про маніпуляції містять близько одного мільйона епізодів. Розрив скорочується не швидко.

Проблема посилюється, якщо врахувати розрив у втіленнях: політика, навчена на маніпуляторі з однією рукою та 6 ступенями свободи, не переноситься чітко на бімануального гуманоїда або мобільну базу з рукою. Кожен новий форм-фактор робота ефективно скидає вимоги до даних. Підходи до фрагментації дій (коли політика виводить багатокрокові послідовності дій, а не окремі кроки) зменшують затримку виведення, але не зменшують потребу в різноманітному навчальному охопленні.

Згідно зі статтею Open X-Embodiment (Padalkar et al., 2023, Google DeepMind et al.), крос-втілення навчання на різноманітних даних про роботів може покращити узагальнення політики поза межами того, що забезпечують набори даних з одним втіленням. EVST вирішує цю проблему, оцінюючи якість крос-втілень наборів даних як частину свого внутрішнього процесу оцінювання під час вибору планування руху з доповненим штучним інтелектом для своєї лінійки роботів повного діапазону 3–800 кг. Щодо апаратної сторони цієї стратегії обробки даних див. Рішення EVST Embodied AI, включаючи гуманоїдних роботів, спритні руки для збору даних, чотирилапих роботів та пілотні платформи для розробки втіленого штучного інтелекту.

Три основні джерела даних: сильні та обмежені сторони

Телеоперація

Телеоперація дозволяє фіксувати демонстрації роботи цільового робота на високоякісному рівні. Оператор керує роботом дистанційно за допомогою маніпуляторів лідера-слідувача, гарнітур віртуальної реальності, костюмів екзоскелетів або портативних інтерфейсів, тоді як система синхронно записує кожен кут суглоба, стан захоплення, показник сили та кадр камери. Оскільки дані надходять від людини, яка виконує фактичне завдання на реальному роботу, відповідність дії та стану є точною, а розрив у втіленнях дорівнює нулю.

Обмеженням є пропускна здатність. Кваліфіковані телеоператори створюють приблизно 5–50 епізодів на годину залежно від складності завдання, а якість даних погіршується, коли оператори втомлюються. Телеоперація також не масштабується до відновлення після збоїв без ретельно продуманого проектування протоколу: якщо оператори завжди досягають успіху, політика ніколи не навчиться відновлюватися після збоїв.

Передача з симулятора в реальний світ

Фізичні симулятори (MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet) дозволяють дослідникам генерувати мільйони епізодів роботи з майже нульовими граничними витратами. Один кластер графічних процесорів може запускати тисячі паралельних екземплярів симуляції за одну ніч. Вартість проявляється під час розгортання: політики, навчені симуляції, часто дають збій, стикаючись з динамікою контактів у реальному світі, шумом датчиків та візуальними варіаціями, які симулятор не відтворював точно. Подолання цього розриву між симуляцією та реальністю є активною сферою досліджень.

Інтернет-відео та пасивне спостереження

Великі моделі візуальної мови, попередньо навчені на інтернет-відео, забезпечують загальне розуміння сцени, що допомагає з орієнтуванням на завдання. Архітектура pi0 від Physical Intelligence та аналогічні VLA-проекти використовують попереднє відео для відпрацювання навичок маніпулювання перед тонким налаштуванням на демонстраціях роботів. Обмеження полягає в тому, що відео не надає позначок дій: відео показує руку, яка стискає об'єкт, але не записує прикладену силу або кути суглобів еквівалентної роботизованої руки. Моделі зворотної динаміки можуть частково виводити дії з відео, але отримані псевдопозначки містять шум.

Апаратне забезпечення та протоколи телеоперацій

Вибір інтерфейсу телеоперацій впливає як на якість даних, так і на пропускну здатність збору даних. Нижче наведено системи, які були найактивнішими в дослідницьких та комерційних програмах 2025–2026 років.

Лідер-Послідовник: ALOHA та мобільна ALOHA

ALOHA (Недорога апаратна система з відкритим вихідним кодом для бімануальної телеоперації) була розроблена в Стенфорді та використовує два недорогих ведучих маніпулятори, які оператор переміщує вручну, тоді як два узгоджених ведучих маніпулятори на роботу відтворюють рухи в режимі реального часу. Бімануальна конструкція дозволяє виконувати дворучні завдання, які неможливо виконати однорукими системами. Мобільна ALOHA розширює платформу на мобільну базу. ALOHA 2, випущена в 2024 році, покращила точність відстеження суглобів та ергономіку оператора. Вартість апаратного забезпечення для пари «ведучий-ведений» становить менше 20 000 доларів США, що призвело до впровадження в десятках академічних лабораторій.

Інтерфейси для кріплення на зап'ястя: UMI

Універсальний маніпуляційний інтерфейс (UMI) від Стенфорда та Колумбійського університету встановлює камеру типу «риб'яче око» та кодер на ручному захоплювачі. Оператор фізично демонструє завдання в навколишньому середовищі, поки захоплювач фіксує позу кінцевого ефектора та стан захоплення. UMI відокремлює збір даних від робота: демонстрації можна проводити в польових умовах, а пізніше перенаправляти на різні варіанти виконання роботів. Це робить його особливо корисним для збору даних про маніпуляції в реальних умовах поза лабораторними умовами.

VR та головні дисплеї

Apple Vision Pro та Meta Quest 3 досліджуються як інтерфейси телеоперації. Привабливість полягає в бімануальному відстеженні рук із шістьма ступенями свободи з інтуїтивно зрозумілим керуванням оператора. Інженерна проблема полягає в перенацілюванні: кінематика людської руки (п'ять пальців, 27 суглобів) повинна відповідати командам кінцевого ефектора робота (зазвичай захвати з 1 ступенем свободи або спритні руки з 12–16 ступенями свободи). Без ретельного перенацілювання записані демонстрації містять наміри оператора, але не безпосередньо виконувані дії робота.

Екзоскелет та захоплення всього тіла

Для гуманоїдних роботів, яким потрібні дані про рухи всього тіла (включаючи пересування в поєднанні з маніпуляціями), екзоскелетні костюми фіксують кінематику всього тіла з частотою дискретизації понад 100 Гц. AgiBot використовує підхід на основі екзоскелета для збору даних про маніпуляції гуманоїдами для свого набору даних AgiBot World. Телеоперація Fourier GR-1 аналогічно спирається на носимий пристрій захоплення, що відповідає конфігурації суглобів робота.

Фігура та великомасштабні комерційні флоти

Figure AI використовує власний парк телеоператорів на виробничих потужностях BMW. Модель маховика даних, в якій кожен розгорнутий робот збирає нові епізоди, що враховуються в навчанні, також є центральною для стратегії розвитку Tesla Optimus. Ці замкнуті системи накопичують промислові дані зі швидкістю, з якою відкриті академічні набори даних не можуть зрівнятися.

Порівняння платформ телеоперацій

Примітка: показники пропускної здатності є приблизними діапазонами, взятими з опублікованих досліджень та звітів дослідників. Індивідуальні навички оператора та складність завдання суттєво впливають на результати.

Публічні набори даних: Open X-Embodiment, DROID, BridgeData, RoboSet, RH20T, AgiBot World

Екосистема відкритих наборів даних швидко розширилася з 2022 року. Нижче наведено огляд найбільш цитованих колекцій станом на початок 2026 року.

Відкрите втілення X (OXE) та RT-X

Зібраний Google DeepMind за участю 33 установ, OXE агрегує понад 1 мільйон епізодів для більш ніж 22 типів роботів. Пов'язані моделі RT-X продемонстрували, що навчання на об'єднаних даних перехресного втілення перевершує базові показники для одного втілення за показниками узагальнення. OXE випускається за комбінацією ліцензій CC-BY та Apache 2.0 залежно від установи-учасника. Доступ здійснюється через веб-сайт RT-X та HuggingFace.

DROID

Дані DROID (розподілений набір даних взаємодії з роботами) були зібрані у 13 північноамериканських дослідницьких лабораторіях за допомогою стандартизованої установки Franka Panda з інтерфейсом телеоперації в стилі ALOHA. Він містить приблизно 76 000 епізодів різноманітних побутових та настільних маніпуляційних завдань. Стандартизоване обладнання на різних сайтах робить DROID одним із найчистіших великомасштабних наборів даних маніпуляцій для клонування поведінки та експериментів з RLHF.

BridgeData V2

BridgeData V2, розроблений Каліфорнійським університетом у Берклі та Стенфорді, містить приблизно 60 000 демонстрацій для широкого спектру завдань маніпулювання робочим столом. Він використовує маніпулятор WidowX та вирізняється різноманітністю завдань (понад 70 різних категорій завдань), що робить його загальною базою для точного налаштування моделей VLA. Випущено під ліцензією CC-BY 4.0.

РобоСет

RoboSet від Індійського технологічного інституту Делі та його партнерів надає дані про багатозадачні маніпуляції на кухні, зібрані за допомогою Franka Panda. Він включає RGB-D спостереження та мовні анотації для кожного епізоду. RoboSet розроблено спеціально для підтримки оцінки політик, зумовлених мовою, що робить його корисним для тестування узагальнення, що базується на інструкціях.

РХ20Т

RH20T (Robot-Human 20 Tasks) – це масштабний набір даних для маніпуляцій, багатий на контакти, що включає синхронізовану пропріоцепцію роботів, RGB-відео, глибинні, тактильні та аудіопотоки. Мультимодальне багатство робить RH20T довідковим матеріалом для дослідників, які працюють над політикою, що потребує контактного зондування, а не лише візуального спостереження.

Світ АгіБотів

AgiBot World — це набір даних для маніпуляцій з гуманоїдами, створений китайською робототехнічною компанією AgiBot з використанням власного конвеєра збору даних на основі екзоскелетів. Він зосереджений на завданнях маніпуляцій з гуманоїдами всього тіла та являє собою один з перших великомасштабних наборів даних, спеціально орієнтованих на форм-фактори гуманоїдів у промисловому масштабі. AgiBot World доступний за відкритою дослідницькою ліцензією для некомерційного використання.

Довідник з набору даних публічного втіленого штучного інтелекту

Кількість епізодів та умови ліцензії взяті з наборів даних та офіційних репозиторіїв станом на початок 2026 року. Перевірте поточні умови перед використанням.

Стек Sim-to-Real: Ісаак Сім, MuJoCo, Cosmos та рандомізація доменів

Моделювання масштабує генерацію даних. Практичне питання полягає в тому, який симулятор використовувати та як скоротити розрив до фізичного обладнання.

MuJoCo

MuJoCo (багатосуглобова динаміка з контактом) залишається стандартом для досліджень маніпуляцій з використанням багатоконтактних методів. Його фізичний движок обробляє динаміку твердого тіла, м'які контакти та системи, що керуються сухожиллями, з обчислювальною ефективністю, яка дозволяє виконувати тисячі паралельних епізодів навчання на одному кластері графічних процесорів. Випуск з відкритим кодом від Google DeepMind у 2022 році значно прискорив його впровадження. Більшість академічних клонувань поведінки та бенчмарків RLHF використовують середовища MuJoCo.

NVIDIA Ісаак Сім та Ісаак Лаб

Isaac Sim працює на платформі Omniverse від NVIDIA та забезпечує фізику з прискоренням на GPU та високоточною рендеринговою технологією. Isaac Lab (раніше OmniIsaacGymEnvs) – це фреймворк навчання з підкріпленням, побудований на Isaac Sim, оптимізований для масово паралельного навчання політик. Ключовою перевагою є фотореалістичний рендеринг: візуальні ефекти Isaac Sim з трасуванням шляху зменшують розрив у візуальній області порівняно зі спрощеними рендерерами MuJoCo, що важливо для навчання політик на основі зору.

NVIDIA Cosmos

Cosmos — це платформа NVIDIA для створення світових базових моделей, анонсована наприкінці 2024 року. Замість того, щоб симулювати фізику з перших принципів, Cosmos генерує фотореалістичне відео взаємодії роботів та об'єктів з текстових або графічних підказок, навчених на великих наборах відеоданих. Мета полягає в генеруванні синтетичних навчальних даних, які виглядають достатньо реалістично, щоб заповнити розрив між візуальною симуляцією та реальністю без ручної рандомізації доменів. Станом на початок 2026 року Cosmos досліджується кількома лабораторіями навчання роботів як шар доповнення даних поверх реальних демонстрацій.

Гаусівське розбризкування та реконструкція сцени

3D-гауссове сплетування реконструює фотореалістичні сцени з невеликого набору RGB-зображень за лічені хвилини, а не за години. Для навчання роботів це означає, що лабораторія може сканувати нове робоче середовище, реконструювати гауссову сцену та генерувати нові ракурси або конфігурації об'єктів для доповнення даних, взагалі не потребуючи фізичного симулятора. Цей підхід інтегрується в кілька конвеєрів симуляції-реальності як недорогий інструмент візуальної рандомізації доменів.

Рандомізація доменів та ідентифікація системи

Рандомізація домену рандомізує параметри моделювання (текстури об'єктів, умови освітлення, коефіцієнти тертя, жорсткість суглобів робота) під час навчання, змушуючи політику бути стійкою до змін, а не підлаштовуватися під одну змодельовану конфігурацію. Ідентифікація системи використовує комплементарний підхід: вона точно вимірює фізичні параметри реального робота (масу, інерцію, податливість суглобів) та використовує ці значення в моделюванні, щоб мінімізувати розрив перед рандомізацією.

Навчання за навчальною програмою застосовує рандомізацію поступово. Спочатку політика тренується у вузькій, чіткій симуляції, потім поступово стикається з більшою кількістю варіацій у міру покращення продуктивності. Такий поетапний підхід часто сходиться швидше, ніж застосування повної рандомізації з самого початку.

Компроміси між якістю та кількістю даних

Більше даних не означає автоматично краще. Склад набору даних визначає, що може, а що не може робити навчена політика.

Різноманітність завдань має більше значення, ніж кількість епізодів, коли метою є універсальна політика. Набір даних зі 100 000 епізодів одного й того ж завдання типу «вибери та розмісти» створює спеціаліста. Набір даних із 10 000 епізодів, розподілених по 50 типах завдань, може створити політику, яка після кількох кроків точного налаштування застосовується до нових завдань.

Різноманітність варіантів реалізації має значення для перенесення між роботами. Цінність OXE полягає саме в тому, що вона охоплює типи рук, мобільні платформи та спритні руки. Політика, попередньо навчена на OXE та налаштована на новому роботу, зазвичай перевершує ту, що навчена з нуля лише на даних того ж нового робота, і цей результат узгоджується з численними опублікованими дослідженнями.

Тривалість епізоду та відновлення після збоїв недооцінені. Набори даних, зібрані кваліфікованими телеоператорами, які рідко дають збої, створюють політики, які не знають, як відновлюватися після збоїв. Навмисне введення станів збоїв та демонстрації відновлення суттєво покращують стійкість у реальному світі. Деякі лабораторії використовують змагальні збурення під час сеансів телеоперацій для генерації цих даних.

Згідно зі спостереженнями галузі з кількох звітів лабораторій навчання роботів за 2024–2025 роки, гранична цінність додаткових епізодів різко знижується, як тільки набір даних охоплює завдання приблизно на рівні 500–1,000 демонстрацій, тоді як гранична цінність нових типів завдань залишається високою, аж до тисяч окремих завдань. EVST враховує це під час структурування комірок збору пілотних даних, надаючи пріоритет широті завдань над накопиченням повторюваних епізодів.

Міркування щодо даних промислового класу

Збір заводських даних накладає вимоги, які зазвичай не враховуються в академічних системах телеоперацій.

Детерміністичне ведення журналу є першою вимогою. У виробничій комірці позначка часу на показаннях енкодера з'єднання повинна простежуватися до опорного значення настінного годинника з точністю до мілісекунди. Керування польовою шиною EtherCAT 1 кГц, стандартне для промислових роботів (включаючи ті, що входять до лінійки EVST), забезпечує детерміністичну основу синхронізації, яка робить синхронізацію кількох датчиків легкою. Система, що працює на частоті 1 кГц, генерує 1,000 зразків стану з'єднання на секунду на вісь; вирівнювання цього потоку з кадрами камери зі швидкістю 30–60 кадрів/с та даними сили-крутного моменту зі швидкістю 500 Гц вимагає дисциплінованої апаратної архітектури позначення часу, а не програмної буферизації.

Мітки безпеки потрібні, коли епізоди включають події, що майже призвели до аварії, активації аварійної зупинки або порушення меж зусилля. Ці мітки необхідні як для дотримання вимог, так і для політик навчання, які розуміють стани, пов'язані з безпекою. Промислові контролери, які реєструють причини аварійної зупинки та перевищення крутного моменту з'єднань на апаратному рівні, роблять це маркування зручним для контролю.

Анотація часу циклу пов'язує епізоди роботи робота з результатами виробництва. Знання того, що епізод 4,712 завершив завдання складання за 8.3 секунди з нульовими прапорцями якості, пов'язує дані навчання робота з системою MES та дозволяє вибирати високоякісні демонстрації для навчання.

Метадані, пов'язані з MES, є мостом. Коли система реєстрації даних робота записує файли епізодів із доданими ідентифікаторами завдань MES, типами деталей та результатами якості, результуючий набір даних можна програмно фільтрувати. Епізоди, пов'язані з переробкою, браком або зміною налаштувань оператора, можна виключити або розглядати як демонстрації несправностей.

На практиці, під час модернізації пілотної комірки для збору даних, найпоширенішим вузьким місцем є не можливість реєстрації даних роботом, а мережева архітектура комірки. Промислові сегменти Ethernet, розроблені для зв'язку між ПЛК та роботом на частоті менше кГц, не завжди розраховані на пропускну здатність безперервних потоків відео з кількох камер плюс пропріоцепції. Комірка, що працює з двома камерами 1080p зі швидкістю 30 кадрів/с, плюс дані про шестиосьову силу плюс дані про стан суглобів, генерує приблизно 150–300 МБ на хвилину необроблених даних про епізоди. Планування інфраструктури зберігання та мережі перед розгортанням дозволяє уникнути витрат на модернізацію пізніше.

Маркування трубопроводів та інструментів

Необроблені записи епізодів не готові для навчання. Їм потрібні мовні анотації, маски сегментації об'єктів, а в деяких випадках і мітки винагород.

Мовна анотація

Моделі VLA з мовно-зумовленими даними потребують опису завдання кожного епізоду природною мовою. Для невеликих наборів даних це робиться вручну; для наборів даних понад 10 000 епізодів стає необхідним автоматичне анотування з використанням моделей візуальної мови (GPT-4V, Gemini або спеціалізованих моделей субтитрів). Контроль якості вимагає перевірки вибірки людиною для виявлення систематичних помилок в автоматичному анотаторі.

Сегментація та відстеження об'єктів

Політики, що враховують стан об'єктів, отримують користь від масок сегментації для кожного епізоду, що ідентифікують маніпульовані об'єкти. Модель Segment Anything Model (SAM 2) від Meta робить інтерактивну сегментацію доступною в масштабі набору даних, скорочуючи час анотації з годин до хвилин на епізод у поєднанні з проходом відстеження поширення.

Формування винагороди для RLHF

Коли епізоди включають демонстрації як успіху, так і невдачі, маркування винагород дає змогу точно налаштувати навчання з підкріпленням від людського зворотного зв'язку (RLHF). Анотатори-люди ранжують результати епізодів, і ці уподобання навчають модель винагород, яка формує оновлення політик. Цей конвеєр використовується в розробці pi0 для Physical Intelligence і досліджується для навчання промислових завдань, де бінарні мітки успіху/невдачі вже доступні від MES.

Ліцензування конфіденційності, інтелектуальної власності та наборів даних

Внески у відкриті набори даних порушують питання інтелектуальної власності, які промислові виробники оригінального обладнання повинні вирішити перед участю.

Основні категорії ліцензій, що використовуються: CC-BY (потрібне посилання на авторство, дозволено комерційне використання), CC-BY-NC (лише некомерційне) та Apache 2.0 (дозвільна, включаючи комерційне використання та перерозподіл ваги моделі). Власні набори даних (Tesla Optimus, дані про автопарк Figure, Boston Dynamics) не поширюються зовнішніми особами.

Для виробників оригінального обладнання (OEM) проблемою інтелектуальної власності є розкриття процесу: епізод, що демонструє певну конфігурацію відсадного обладнання, траєкторію інструменту або конструкцію кріплення, може розкрити запатентовані методи виробництва. Стандартним засобом пом'якшення є видалення візуального контексту до рівня кінцевого виконавчого механізму, надання лише потоків спільних траєкторій (без даних камери) або використання синтетичних візуалізацій траєкторії маніпуляції на загальному тлі. Кілька нових моделей консорціумів пропонують правові рамки для анонімного надання промислових даних згідно з угодами про взаємне нерозголошення в поєднанні з ліцензіями на дані Apache 2.0.

Згідно з аналізом, проведеним Stanford CRFM та його колегами в рамках опитування щодо навчання роботів 2024 року, власні сховища даних є найбільшою структурною перешкодою для втіленого прогресу ШІ, що перевищує поточні контрольні показники. Промислові виробники оригінального обладнання (OEM), які зараз розробляють внутрішні структури управління даними, зможуть брати участь у консорціумах наборів даних, оскільки ці програми формалізуються протягом наступних 18–24 місяців.

Як виробники оригінального обладнання можуть надавати дані

Постачальники промислової автоматизації (включаючи FANUC, ABB, KUKA та сертифікованих інтеграторів «під ключ», таких як EVST) знаходяться на перетині робототехнічного обладнання та реального виробничого середовища. Таке становище робить їх природними учасниками втіленої екосистеми даних штучного інтелекту, якщо існує операційна та правова база.

Пілотні комірки з накладанням телеоперацій

Найбільш доступною точкою входу є пілотна комірка, де виробничий робот оснащений системою телеоперації: маніпулятором типу «лідер-слідуваний», який оператор використовує для демонстрації варіацій виробничого завдання. Ці демонстрації збираються в невеликих обсягах (50–500 епізодів) і достатні для точного налаштування попередньо навченої моделі VLA до конкретного виробничого завдання. Підхід пілотної комірки не вимагає змін до сертифікації безпеки виробничої комірки, оскільки система телеоперації працює як вхідний пристрій для контролера робота, а не як паралельний шлях керування.

Модернізація журналювання на виробничих роботах

Існуючі виробничі роботи можна модернізувати легкими модулями реєстрації, які записують стан суглобів, положення кінцевого ефектора та силу захоплення зі швидкістю EtherCAT, записуючи файли епізодів з мітками часу на периферійний сервер під час виробничих циклів. Це не вимагає змін у програмі керування роботом. Зареєстровані дані фіксують реальну поведінку виробничих маніпуляцій, що є більш репрезентативним для задачі, ніж лабораторні демонстрації. Промислові контролери EVST, що працюють з часом циклу EtherCAT 1 кГц та сертифіковані за стандартами CE/SGS/TUV, забезпечують детерміністичну архітектуру синхронізації, від якої залежить цей підхід до реєстрації. Дані можна очищати, анонімізувати та форматувати для стандартних систем навчання роботів без дорогої роботи з реінтеграції.

Участь у програмі анонімного набору даних

Нові програми OEM-виробників наборів даних (включаючи відкритий трек внеску AgiBot World та кілька обговорень консорціуму на ICRA 2025) приймають анонімні дані промислових маніпуляцій. OEM-виробники із сертифікацією IATF16949, такі як EVST, мають існуючі процеси управління якістю, які добре відповідають вимогам цілісності метаданих, що визначають ці програми: відстежувані позначки часу, документовані протоколи збору та перевірені записи калібрування датчиків.

Глобальне покриття польових ресурсів як перевага даних

Виробник оригінального обладнання (OEM) з польовими інженерами з понад 100 країн може збирати дані для навчання на основі втіленого штучного інтелекту з дійсно різноманітних виробничих середовищ (різна геометрія заготовок, умови навколишнього середовища, демографічні характеристики операторів та варіації процесів). Це географічне розмаїття є цінним, оскільки політики, навчені на ньому, узагальнюються краще, ніж ті, що були навчені на даних з однієї лабораторії чи об'єкта. Сертифіковані вибухозахищені роботи EVST та повний модельний ряд від 3 до 800 кг означають, що збір даних може поширюватися на такі середовища, як хімічна обробка, поводження з небезпечними матеріалами та виробництво за екстремальних температур, які більшість академічних наборів даних взагалі не охоплюють.

Ключові показники галузі

Згідно зі звітом Міжнародної федерації робототехніки (IFR) «Всесвітня робототехніка 2024», у 2023 році у світі працювало понад 3.9 мільйона промислових роботів, проте найбільші відкриті набори даних про маніпуляції з роботами містять менше 2 мільйонів епізодів разом, що ілюструє розрив у масштабах між розгорнутим обладнанням та доступними даними для навчання. EVST вирішує цю проблему, досліджуючи архітектури реєстрації даних для модернізації, які перетворюють парки виробничих роботів на пасивні засоби збору даних.

Згідно зі статтею Open X-Embodiment (Padalkar et al., Google DeepMind et al., 2023), моделі, навчені на даних перехресного втілення для понад 22 типів роботів, показали помітно краще узагальнення на затриманих завданнях, ніж моделі, навчені лише на даних будь-якого окремого втілення. EVST вирішує цю проблему, структуруючи свою внутрішню систему оцінки даних, щоб враховувати різноманітність втілень разом з кількістю епізодів під час оцінки корисності набору даних для оцінки тонкого налаштування виробничої лінії.

Згідно зі спостереженнями галузі з кількох лабораторій навчання роботів у 2024–2025 роках, розрив між візуальною симуляцією та реальністю пояснює більшість випадків збоїв політик у завданнях маніпуляцій, що включають дзеркальні або прозорі об'єкти, які стандартні методи рандомізації доменів не охоплюють надійно. EVST вирішує цю проблему, моніторячи інструменти фотореалістичного моделювання (зокрема, конвеєри NVIDIA Cosmos та Gaussian Splatting) як кандидати на доповнюючі шари для своєї дорожньої карти планування руху на основі штучного інтелекту.

Пов’язані посібники

• Втілені моделі штучного інтелекту та VLA в промисловій робототехніці: що потрібно знати заводським інженерамОхоплює архітектуру моделей «візуалізація-мова-дія» та обмеження їх розгортання на виробничому обладнанні.
• Гуманоїдні роботи в промисловому виробництві 2026Розглядає, які завдання дійсно вирішуються гуманоїдними платформами порівняно з традиційними промисловими руками.
• Гуманоїдні роботи проти промислових роботів-маніпуляторів для заводського використання у 2026 роціПряме порівняння можливостей, вартості та складності інтеграції між двома форм-факторами.
• Повний посібник з коботів: типи, вибір та застосування у 2026 роціБазовий орієнтир для вибору колаборативних роботів з урахуванням корисного навантаження, застосування та вимог навколишнього середовища.

Поширені запитання

Чому збір даних для втіленого ШІ складніший, ніж збір даних для мовних моделей?

Мовні моделі навчаються на тексті, який вже існує в Інтернеті у величезних масштабах. Втілені роботи зі штучним інтелектом повинні збирати сенсомоторні дані, пов'язані з діями: синхронізовані кути суглобів, сили захоплення, кадри камери та контекст завдання, все це записане під час фізичної маніпуляції. Ці дані не існують у веб-масштабі та є дорогими для створення. Кожен епізод телекерування зазвичай займає 1–10 хвилин часу кваліфікованого оператора для створення однієї траєкторії навчання, а якість погіршується, якщо оператор не знайомий з динамікою робота.

Яка різниця між перенесенням з симуляції в реальне середовище та рандомізацією домену в навчанні роботів?

Перенесення симуляції в реальний світ є широкою метою: навчити політику в симуляції та розгорнути її на фізичному роботі без падіння продуктивності. Рандомізація доменів – один із методів досягнення цієї мети. Вона випадковим чином змінює параметри симуляції – освітлення, текстури, коефіцієнти тертя, маси об'єктів – під час навчання, щоб політика навчалася обробляти варіації реального світу, а не переналаштовувалася на один симульований вигляд. Інші методи включають адаптацію домену, фотореалістичний рендеринг (як у NVIDIA Cosmos) та ідентифікацію системи.

Що таке Open X-Embodiment і скільки типів роботів воно охоплює?

Open X-Embodiment — це масштабний відкритий набір даних для навчання роботів, зібраний Google DeepMind за участю 33 дослідницьких установ. Він агрегує понад 1 мільйон епізодів роботи роботів у більш ніж 22 варіантах реалізації — маніпуляторах з однією рукою, бімануальних установках, мобільних базах та спритних руках. Моделі RT-X, навчені на OXE, продемонстрували, що перехресне навчання покращує узагальнення політики порівняно з базовими рівнями для одного варіанту реалізації.

Як виробник оригінального обладнання може внести дані про роботів у навчання з використанням штучного інтелекту, не розкриваючи при цьому запатентовану інтелектуальну власність процесу?

Найбільш практичним підходом є анонімний внесок епізодів: видаляти метадані, що ідентифікують процес (номери деталей, посилання клієнтів, цільові показники часу циклу), та надавати лише потоки спільної траєкторії та стану захоплення. Кілька програм наборів даних, включаючи AgiBot World та нові ініціативи консорціуму OEM, приймають анонімізовані дані промислових маніпуляцій за умовами Apache 2.0 або CC-BY. Інфраструктура реєстрації з детермінованими часовими мітками EtherCAT гарантує, що якість епізодів відповідає стандартам надходження набору даних.

Яка система збору даних телеоперацій найкраще підходить для завдань промислового маніпуляцій?

Для промислових маніпуляцій провідними варіантами є ALOHA 2 (бімануальні керовані лапи, низька вартість, з відкритим вихідним кодом), UMI (на зап'ясті, відокремлені від робота, дуже портативні) та захоплення на основі екзоскелета для завдань з великим корисним навантаженням або повним тілом. VR-установки, що використовують Apple Vision Pro або Meta Quest 3, набирають обертів для інтуїтивно зрозумілого бімануального захоплення, але вимагають перенацілювання конвеєрів для перетворення кінематики людської руки в суглобовий простір робота. Правильний вибір залежить від ступенів свободи цільового робота, корисного навантаження та того, чи вимагає завдання двох рук.

Останнє оновлення: 23 квітня 2026 року

дивіться наші Втілені рішення на основі штучного інтелекту →