آخرین بروزرسانی: 23 آوریل 2026

جمع‌آوری داده‌ها برای هوش مصنوعی تجسمی: ​​عملیات از راه دور، شبیه‌سازی به واقعیت و مجموعه داده‌های صنعتی در سال ۲۰۲۶

داده‌ها گلوگاه هوش مصنوعی تجسم‌یافته هستند، نه محاسبات. آموزش یک سیاست ربات نیاز به جریان‌های حالت-عمل هماهنگ‌شده دارد که به سادگی در مقیاس اینترنت وجود ندارند. در حال حاضر سه منبع این تقاضا را برآورده می‌کنند. عملیات از راه دور انسانی، نمایش‌های با کیفیتی را با هزینه زمان اپراتور ارائه می‌دهد. انتقال شبیه‌سازی به واقعی، تعداد قسمت‌ها را افزایش می‌دهد اما شکاف وفاداری ایجاد می‌کند. مجموعه داده‌های باز بزرگ، مشارکت‌های ده‌ها آزمایشگاه و پلتفرم را جمع‌آوری می‌کنند.

چرا داده‌ها گلوگاه هوش مصنوعی تجسم‌یافته هستند؟

محاسبات از یک منحنی مقیاس‌بندی قابل پیش‌بینی پیروی کرده است. خوشه‌های GPU که قادر به آموزش مدل‌های بینایی-زبان-عمل (VLA) با میلیارد پارامتر هستند، امروزه به صورت تجاری در دسترس هستند. آنچه مقیاس‌بندی نشده است، داده‌هایی است که این مدل‌ها به آن نیاز دارند: مشاهدات جفت‌شده و اقدامات ثبت‌شده در طول دستکاری فیزیکی ربات، با تنوع کافی در وظایف و تجسم برای تولید سیاست‌هایی که قابل تعمیم هستند.

یک مدل زبانی می‌تواند در عرض چند هفته یک تریلیون توکن را از وب دریافت کند. یک مجموعه داده دستکاری ربات باید به صورت قسمت به قسمت تولید شود که هر کدام به یک ربات فیزیکی، یک محیط واقعی یا شبیه‌سازی شده، تعریف وظیفه و یک اپراتور انسانی یا یک نمایش اسکریپت‌شده نیاز دارند. فدراسیون بین‌المللی رباتیک (IFR) تخمین می‌زند که بیش از ۳.۹ میلیون ربات صنعتی در سال ۲۰۲۴ در سطح جهان فعالیت می‌کردند، با این حال بزرگترین مجموعه داده‌های دستکاری باز شامل حدود یک میلیون قسمت هستند. این شکاف به سرعت در حال پر شدن نیست.

وقتی شکاف تجسم را در نظر می‌گیرید، چالش پیچیده‌تر می‌شود: سیاستی که روی یک بازوی مکانیکی تک‌دست با ۶ درجه آزادی آموزش داده شده است، به طور کامل به یک ربات انسان‌نما با دو دست یا یک پایه متحرک با یک بازو منتقل نمی‌شود. هر فاکتور شکل ربات جدید به طور مؤثر الزامات داده‌ها را بازنشانی می‌کند. رویکردهای قطعه‌بندی عمل (که در آن یک سیاست به جای مراحل تکی، توالی‌های عمل چند مرحله‌ای را خروجی می‌دهد) تأخیر استنتاج را کاهش می‌دهد، اما نیاز به پوشش آموزشی متنوع را کاهش نمی‌دهد.

طبق مقاله Open X-Embodiment (Padalkar و همکاران، 2023، Google DeepMind و همکاران)، آموزش تجسم متقابل روی داده‌های متنوع ربات می‌تواند تعمیم سیاست را فراتر از آنچه مجموعه داده‌های تجسم واحد ارائه می‌دهند، بهبود بخشد. EVST با ارزیابی کیفیت مجموعه داده‌های تجسم متقابل به عنوان بخشی از فرآیند ارزیابی داخلی خود هنگام انتخاب برنامه‌ریزی حرکت تقویت‌شده با هوش مصنوعی برای مجموعه ربات‌های 3 تا 800 کیلوگرمی کامل خود، به این موضوع می‌پردازد. برای جنبه سخت‌افزاری این استراتژی داده، به راهکارهای هوش مصنوعی تجسمی EVSTاز جمله ربات‌های انسان‌نما، دست‌های ماهر برای جمع‌آوری داده‌ها، ربات‌های چهارپا و پلتفرم‌های آزمایشی برای توسعه هوش مصنوعی تجسم‌یافته.

سه منبع اصلی داده: نقاط قوت و محدودیت‌ها

تله‌پراکنی

تله‌اپریشن، نمایش‌های با کیفیتی را با استفاده از سخت‌افزار ربات هدف ثبت می‌کند. اپراتور، ربات را از راه دور، از طریق بازوهای رهبر-پیرو، هدست‌های واقعیت مجازی، لباس‌های اسکلت بیرونی یا رابط‌های دستی کنترل می‌کند، در حالی که سیستم هر زاویه مفصل، حالت چنگک، اندازه‌گیری نیرو و فریم دوربین را به طور همزمان ثبت می‌کند. از آنجا که داده‌ها از انسانی که وظیفه واقعی را روی ربات واقعی انجام می‌دهد، می‌آید، تطابق عمل-حالت دقیق است و شکاف تجسم صفر است.

محدودیت، توان عملیاتی است. اپراتورهای ماهر از راه دور، بسته به پیچیدگی کار، تقریباً ۵ تا ۵۰ قسمت در ساعت تولید می‌کنند و کیفیت داده‌ها هنگام خستگی اپراتورها کاهش می‌یابد. همچنین، بدون طراحی پروتکل آگاهانه، عملیات از راه دور به بازیابی خرابی‌ها نمی‌رسد: اگر اپراتورها همیشه موفق شوند، سیاست هرگز یاد نمی‌گیرد که از اختلالات بازیابی کند.

انتقال سیم‌کارت به ریال

شبیه‌سازهای فیزیک (MuJoCo، NVIDIA Isaac Sim، Isaac Lab، PyBullet) به محققان اجازه می‌دهند میلیون‌ها اپیزود ربات را با هزینه نهایی نزدیک به صفر تولید کنند. یک خوشه GPU می‌تواند هزاران نمونه شبیه‌سازی موازی را یک شبه اجرا کند. هزینه در زمان استقرار خود را نشان می‌دهد: سیاست‌های آموزش‌دیده در شبیه‌سازی اغلب در مواجهه با دینامیک تماس در دنیای واقعی، نویز حسگر و تغییرات بصری که شبیه‌ساز به طور دقیق تکرار نکرده است، شکست می‌خورند. پر کردن این شکاف شبیه‌سازی به واقعیت، یک حوزه تحقیقاتی فعال است.

ویدئوی اینترنتی و مشاهده غیرفعال

مدل‌های زبان بینایی بزرگ که از قبل روی ویدیوی اینترنتی آموزش دیده‌اند، درک کلی از صحنه را ارائه می‌دهند که به پایه‌گذاری وظایف کمک می‌کند. معماری pi0 شرکت Physical Intelligence و طرح‌های VLA مشابه، از پیش‌آموزش ویدیویی برای راه‌اندازی مهارت‌های دستکاری قبل از تنظیم دقیق روی نمایش‌های ربات استفاده می‌کنند. محدودیت این است که ویدیو هیچ برچسب عملی ارائه نمی‌دهد: یک ویدیو دستی را نشان می‌دهد که یک شیء را می‌گیرد اما نیروی اعمال شده یا زوایای مفصل یک بازوی ربات معادل را ثبت نمی‌کند. مدل‌های دینامیک معکوس می‌توانند تا حدی اعمال را از ویدیو استنباط کنند، اما برچسب‌های کاذب حاصل، نویز دارند.

سخت‌افزار و پروتکل‌های تله‌اپریشن

انتخاب رابط کاربری از راه دور، هم کیفیت داده‌ها و هم توان عملیاتی جمع‌آوری را شکل می‌دهد. در زیر سیستم‌هایی که در برنامه‌های تحقیقاتی و تجاری 2025-2026 بیشترین فعالیت را دارند، آورده شده است.

بازوهای رهبر-پیرو: ALOHA و Mobile ALOHA

ALOHA (یک سیستم سخت‌افزاری متن‌باز کم‌هزینه برای عملیات از راه دور دو دستی) در استنفورد توسعه داده شد و از دو بازوی رهبر ارزان‌قیمت استفاده می‌کند که اپراتور با دست حرکت می‌دهد، در حالی که دو بازوی پیرو منطبق روی ربات، حرکت را در زمان واقعی تکرار می‌کنند. طراحی دو دستی، وظایف دو دستی را که سیستم‌های تک دستی نمی‌توانند انجام دهند، ثبت می‌کند. ALOHA موبایل، پلتفرم را به یک پایه متحرک گسترش می‌دهد. ALOHA 2 که در سال 2024 منتشر شد، دقت ردیابی مفصل و ارگونومی اپراتور را بهبود بخشید. هزینه سخت‌افزار برای جفت رهبر-پیرو کمتر از 20,000 دلار است که باعث پذیرش آن در ده‌ها آزمایشگاه دانشگاهی شده است.

رابط‌های مچی: UMI

رابط کاربری جهانی دستکاری (UMI)، از دانشگاه استنفورد و کلمبیا، یک دوربین چشم ماهی و رمزگذار را روی یک گیره دستی نصب می‌کند. اپراتور به صورت فیزیکی وظیفه را در محیط نشان می‌دهد در حالی که گیره حالت و حالت گرفتن اندام انتهایی را ثبت می‌کند. UMI جمع‌آوری داده‌ها را از ربات جدا می‌کند: نمایش‌ها را می‌توان در میدان جمع‌آوری کرد و بعداً به نمونه‌های مختلف ربات منتقل کرد. این امر آن را به ویژه برای جمع‌آوری داده‌های دستکاری در طبیعت در خارج از محیط آزمایشگاه مفید می‌کند.

واقعیت مجازی و نمایشگرهای نصب‌شده روی سر

Apple Vision Pro و Meta Quest 3 هر دو به عنوان رابط‌های کاربری از راه دور در حال بررسی هستند. جذابیت این رابط‌ها، ردیابی دست دو دستی با شش درجه آزادی (DoF) و کنترل شهودی اپراتور است. چالش مهندسی، هدف‌گیری مجدد است: سینماتیک دست انسان (پنج انگشت، ۲۷ مفصل) باید با دستورات عملگر نهایی ربات (معمولاً گیره‌های ۱ درجه آزادی یا دست‌های ماهر با ۱۲ تا ۱۶ درجه آزادی) تطبیق داده شود. بدون هدف‌گیری مجدد دقیق، نمایش‌های ضبط شده حاوی قصد اپراتور هستند اما شامل اقدامات قابل اجرای مستقیم ربات نمی‌شوند.

اسکلت بیرونی و تصویربرداری تمام بدن

برای ربات‌های انسان‌نما که به داده‌های حرکتی تمام بدن (شامل حرکت همراه با دستکاری) نیاز دارند، لباس‌های اسکلت بیرونی، سینماتیک کل بدن را با نرخ نمونه‌برداری بالای ۱۰۰ هرتز ثبت می‌کنند. AgiBot از یک رویکرد مبتنی بر اسکلت بیرونی برای جمع‌آوری داده‌های دستکاری انسان‌نما برای مجموعه داده‌های AgiBot World خود استفاده می‌کند. عملیات از راه دور Fourier GR-1 نیز به طور مشابه به یک دکل ضبط پوشیدنی متناسب با پیکربندی مفصل ربات متکی است.

ناوگان تجاری بزرگ و کوچک

شرکت Figure AI یک ناوگان تله‌آپ اختصاصی را در سراسر خط تولید BMW خود اداره می‌کند. مدل چرخ لنگر داده، که در آن هر ربات مستقر، قسمت‌های جدیدی را جمع‌آوری می‌کند که به آموزش بازخورد می‌دهند، در استراتژی توسعه Tesla Optimus نیز نقش اساسی دارد. این سیستم‌های حلقه بسته، داده‌های صنعتی را با سرعتی جمع‌آوری می‌کنند که مجموعه داده‌های دانشگاهی باز نمی‌توانند با آن برابری کنند.

مقایسه پلتفرم‌های تله‌اپریشن

توجه: ارقام مربوط به توان عملیاتی، محدوده‌های تقریبی برگرفته از تحقیقات منتشر شده و گزارش‌های محققان هستند. مهارت فردی اپراتور و پیچیدگی کار به طور قابل توجهی بر نتایج تأثیر می‌گذارد.

مجموعه داده‌های عمومی: Open X-Embodiment، DROID، BridgeData، RoboSet، RH20T، AgiBot World

اکوسیستم مجموعه داده‌های باز از سال ۲۰۲۲ به سرعت گسترش یافته است. در زیر مروری بر مجموعه‌های پراستناد تا اوایل سال ۲۰۲۶ ارائه شده است.

باز کردن X-Eembodiment (OXE) و RT-X

OXE که توسط Google DeepMind با ۳۳ موسسه مشارکت‌کننده گردآوری شده است، بیش از ۱ میلیون قسمت را در بیش از ۲۲ نوع ربات جمع‌آوری می‌کند. مدل‌های RT-X مرتبط نشان دادند که آموزش روی داده‌های تجسد متقابل تجمیع‌شده، در معیارهای تعمیم، از خطوط پایه تک تجسد بهتر عمل می‌کند. OXE بسته به موسسه مشارکت‌کننده، تحت ترکیبی از مجوزهای CC-BY و Apache 2.0 منتشر می‌شود. دسترسی از طریق وب‌سایت RT-X و HuggingFace امکان‌پذیر است.

معرفی

DROID (مجموعه داده‌های تعامل توزیع‌شده ربات) با استفاده از یک مجموعه استاندارد Franka Panda با رابط کاربری تله‌اپریشن به سبک ALOHA از ۱۳ آزمایشگاه تحقیقاتی آمریکای شمالی جمع‌آوری شد. این مجموعه تقریباً شامل ۷۶۰۰۰ قسمت از وظایف متنوع دستکاری خانگی و رومیزی است. سخت‌افزار استاندارد در سایت‌های مختلف، DROID را به یکی از تمیزترین مجموعه داده‌های دستکاری در مقیاس بزرگ برای شبیه‌سازی رفتار و آزمایش‌های RLHF تبدیل می‌کند.

بریج دیتا نسخه ۲

BridgeData V2، از دانشگاه‌های برکلی و استنفورد، تقریباً شامل ۶۰،۰۰۰ نمونه از طیف گسترده‌ای از وظایف دستکاری رومیزی است. این نرم‌افزار از یک بازوی WidowX استفاده می‌کند و به دلیل تنوع وظایفش (بیش از ۷۰ دسته وظیفه مجزا) قابل توجه است، که آن را به یک مبنای تنظیم دقیق رایج برای مدل‌های VLA تبدیل می‌کند. تحت CC-BY 4.0 منتشر شده است.

روبوست

RoboSet، از IIT دهلی و همکارانش، داده‌های دستکاری آشپزخانه چندوظیفه‌ای را که با یک Franka Panda جمع‌آوری شده است، ارائه می‌دهد. این داده‌ها شامل مشاهدات RGB-D و حاشیه‌نویسی‌های زبانی برای هر قسمت است. RoboSet به طور خاص برای پشتیبانی از ارزیابی سیاست مشروط به زبان طراحی شده است، که آن را برای آزمایش تعمیم پس از دستورالعمل مفید می‌کند.

RH20T

RH20T (ربات-انسان، ۲۰ وظیفه) یک مجموعه داده دستکاری غنی از تماس در مقیاس بزرگ است که شامل حس عمقی هماهنگ ربات، ویدئو RGB، عمق، لامسه و جریان‌های صوتی است. غنای چندوجهی، RH20T را به مرجعی برای محققانی تبدیل می‌کند که روی سیاست‌هایی کار می‌کنند که به حسگر تماسی نیاز دارند، نه فقط مشاهده بصری.

دنیای AgiBot

AgiBot World یک مجموعه داده دستکاری انسان‌نما است که توسط AgiBot، یک شرکت رباتیک چینی، با استفاده از خط لوله جمع‌آوری داده مبتنی بر اسکلت بیرونی آن تولید شده است. این مجموعه بر وظایف دستکاری انسان‌نمای تمام بدن تمرکز دارد و یکی از اولین مجموعه داده‌های بزرگ مقیاس است که به طور خاص فاکتورهای شکل انسان‌نما را در مقیاس صنعتی هدف قرار می‌دهد. AgiBot World تحت مجوز تحقیقات باز برای استفاده غیرتجاری در دسترس است.

مرجع مجموعه داده‌های هوش مصنوعی تجسمی عمومی

تعداد قسمت‌ها و شرایط مجوز از مقالات مجموعه داده‌ها و مخازن رسمی تا اوایل سال ۲۰۲۶ گرفته شده است. قبل از استفاده، شرایط فعلی را تأیید کنید.

پشته شبیه‌سازی به واقعیت: ایزاک سیم، MuJoCo، کازموس و تصادفی‌سازی دامنه

شبیه‌سازی، تولید داده‌ها را مقیاس‌پذیر می‌کند. سوال عملی این است که از کدام شبیه‌ساز استفاده کنیم و چگونه شکاف را به سخت‌افزار فیزیکی برگردانیم.

MuJoCo

MuJoCo (دینامیک چند مفصلی با تماس) همچنان استانداردی برای تحقیقات دستکاری غنی از تماس است. موتور فیزیک آن، دینامیک جسم صلب، تماس‌های نرم و سیستم‌های فعال شده توسط تاندون را با کارایی محاسباتی مدیریت می‌کند که امکان هزاران قسمت آموزش موازی را در یک خوشه GPU واحد فراهم می‌کند. انتشار متن‌باز تحت Google DeepMind در سال 2022، پذیرش را به طور قابل توجهی تسریع کرد. اکثر شبیه‌سازی‌های رفتاری دانشگاهی و معیارهای RLHF از محیط‌های MuJoCo استفاده می‌کنند.

انویدیا ایزاک سیم و آزمایشگاه ایزاک

ایزاک سیم بر روی پلتفرم Omniverse انویدیا اجرا می‌شود و فیزیک شتاب‌یافته توسط GPU را با رندرینگ با دقت بالا ارائه می‌دهد. Isaac Lab (که قبلاً OmniIsaacGymEnvs نام داشت) چارچوب یادگیری تقویتی ساخته‌شده بر روی Isaac Sim است که برای آموزش سیاست موازی انبوه بهینه شده است. یک مزیت کلیدی، رندرینگ واقع‌گرایانه است: تصاویر ردیابی‌شده توسط مسیر Isaac Sim در مقایسه با رندرکننده‌های ساده‌شده MuJoCo، شکاف دامنه بصری را کاهش می‌دهد، که برای آموزش سیاست‌های مبتنی بر بینایی اهمیت دارد.

انویدیا کازموس

کازموس پلتفرم مدل پایه جهانی انویدیا است که در اواخر سال ۲۰۲۴ معرفی شد. کازموس به جای شبیه‌سازی فیزیک از اصول اولیه، ویدیوهای واقع‌گرایانه از تعاملات ربات و اشیا را از متن یا تصویر تولید می‌کند که بر روی مجموعه داده‌های ویدیویی بزرگ آموزش داده شده‌اند. وعده این است که داده‌های آموزشی مصنوعی تولید شود که به اندازه کافی واقعی به نظر برسند تا شکاف شبیه‌سازی بصری با واقعیت را بدون تصادفی‌سازی دامنه دست‌ساز پر کنند. از اوایل سال ۲۰۲۶، کازموس توسط چندین آزمایشگاه یادگیری ربات به عنوان یک لایه تقویت داده در بالای نمایش‌های واقعی مورد بررسی قرار می‌گیرد.

پاشش گاوسی و بازسازی صحنه

اسپلاتینگ گاوسی سه‌بعدی، صحنه‌های واقع‌گرایانه را از مجموعه‌ای کوچک از تصاویر RGB در عرض چند دقیقه به جای چند ساعت بازسازی می‌کند. برای آموزش ربات، این بدان معناست که یک آزمایشگاه می‌تواند یک محیط کاری جدید را اسکن کند، یک صحنه گاوسی را بازسازی کند و دیدگاه‌ها یا پیکربندی‌های جدیدی از اشیاء را برای افزایش داده ایجاد کند، بدون اینکه اصلاً نیازی به شبیه‌ساز فیزیک داشته باشد. این رویکرد به عنوان یک ابزار تصادفی‌سازی دامنه بصری کم‌هزینه، در چندین خط لوله شبیه‌سازی به واقعی ادغام می‌شود.

تصادفی‌سازی دامنه و شناسایی سیستم

تصادفی‌سازی دامنه، پارامترهای شبیه‌سازی (بافت اشیاء، شرایط روشنایی، ضرایب اصطکاک، سختی مفاصل ربات) را در طول آموزش تصادفی می‌کند و سیاست را مجبور می‌کند که به جای تطبیق با یک پیکربندی شبیه‌سازی شده واحد، در برابر تغییرات مقاوم باشد. شناسایی سیستم رویکرد مکمل را اتخاذ می‌کند: پارامترهای فیزیکی ربات واقعی (جرم، اینرسی، انطباق مفاصل) را به طور دقیق اندازه‌گیری می‌کند و از آن مقادیر در شبیه‌سازی برای به حداقل رساندن شکاف قبل از تصادفی‌سازی استفاده می‌کند.

یادگیری برنامه درسی، تصادفی‌سازی را به تدریج اعمال می‌کند. یک سیاست ابتدا در یک شبیه‌سازی دقیق و تمیز آموزش می‌بیند، سپس به تدریج با بهبود عملکرد، با تغییرات بیشتری مواجه می‌شود. این رویکرد مرحله‌ای اغلب سریع‌تر از اعمال تصادفی‌سازی کامل از ابتدا، همگرا می‌شود.

بده‌بستان‌های کیفیت در مقابل کمیت داده‌ها

داده‌های بیشتر به طور خودکار بهتر نیستند. ترکیب یک مجموعه داده، آنچه را که یک سیاست آموزش‌دیده می‌تواند و نمی‌تواند انجام دهد، شکل می‌دهد.

وقتی هدف یک سیاست کلی‌نگر باشد، تنوع وظیفه بیش از تعداد قسمت‌ها اهمیت دارد. یک مجموعه داده شامل ۱۰۰۰۰۰ قسمت از یک وظیفه انتخاب و قرار دادن یکسان، یک متخصص تولید می‌کند. یک مجموعه داده شامل ۱۰۰۰۰ قسمت که در ۵۰ نوع وظیفه پخش شده‌اند، می‌تواند سیاستی تولید کند که پس از تنظیم دقیق چند مرحله‌ای به وظایف جدید منتقل شود.

تنوع تجسم برای انتقال بین ربات‌ها اهمیت دارد. ارزش OXE دقیقاً در این است که انواع بازوها، پلتفرم‌های موبایل و دست‌های ماهر را در بر می‌گیرد. سیاستی که از قبل روی OXE آموزش دیده و روی یک ربات جدید تنظیم شده است، معمولاً از سیاستی که از ابتدا و فقط روی داده‌های همان ربات جدید آموزش دیده است، بهتر عمل می‌کند، نتیجه‌ای که در مطالعات متعدد منتشر شده ثابت است.

طول دوره و بازیابی خرابی‌ها دست کم گرفته می‌شوند. مجموعه داده‌های جمع‌آوری‌شده توسط اپراتورهای ماهر از راه دور که به ندرت دچار خرابی می‌شوند، سیاست‌هایی را تولید می‌کنند که نمی‌دانند چگونه از اختلالات بازیابی شوند. تزریق عمدی حالت‌های خرابی و نمایش بازیابی، تاب‌آوری در دنیای واقعی را به میزان قابل توجهی بهبود می‌بخشد. برخی از آزمایشگاه‌ها از اختلالات خصمانه در طول جلسات عملیات از راه دور برای تولید این داده‌ها استفاده می‌کنند.

طبق مشاهدات صنعتی از گزارش‌های متعدد آزمایشگاه‌های یادگیری ربات در سال‌های ۲۰۲۴-۲۰۲۵، ارزش نهایی قسمت‌های اضافی، زمانی که یک مجموعه داده، وظیفه‌ای را با تقریباً ۵۰۰ تا ۱۰۰۰ نمایش پوشش می‌دهد، به شدت کاهش می‌یابد، در حالی که ارزش نهایی انواع وظایف جدید تا هزاران وظیفه متمایز، همچنان بالا باقی می‌ماند. EVST این موضوع را هنگام ساختاردهی سلول‌های ثبت داده‌های آزمایشی در نظر می‌گیرد و وسعت وظیفه را بر تجمع قسمت‌های تکراری اولویت می‌دهد.

ملاحظات داده‌های صنعتی

جمع‌آوری داده‌های کارخانه الزاماتی را تحمیل می‌کند که معمولاً در تنظیمات دانشگاهی عملیات از راه دور به آنها پرداخته نمی‌شود.

ثبت قطعی اولین الزام است. در یک سلول تولیدی، مهر زمانی روی قرائت رمزگذار مشترک باید با دقت زیر میلی‌ثانیه به یک مرجع ساعت دیواری قابل ردیابی باشد. کنترل فیلدباس EtherCAT 1 کیلوهرتز، که استاندارد ربات‌های صنعتی (از جمله ربات‌های موجود در خط تولید EVST) است، پایه زمان‌بندی قطعی را فراهم می‌کند که همگام‌سازی چند حسگر را قابل کنترل می‌کند. سیستمی که با سرعت 1 کیلوهرتز کار می‌کند، 1,000 نمونه حالت مشترک در هر ثانیه در هر محور تولید می‌کند. همسو کردن آن جریان با فریم‌های دوربین با سرعت 30 تا 60 فریم در ثانیه و داده‌های نیرو-گشتاور با سرعت 500 هرتز، نیاز به یک معماری مهر زمانی سخت‌افزاری منظم دارد، نه بافرینگ نرم‌افزاری.

برچسب‌های ایمنی زمانی مورد نیاز هستند که رویدادها شامل رویدادهای نزدیک به خطا، فعال‌سازی‌های توقف الکترونیکی یا نقض محدودیت‌های نیرو باشند. این برچسب‌ها هم برای انطباق و هم برای سیاست‌های آموزشی که حالت‌های مرتبط با ایمنی را درک می‌کنند، ضروری هستند. کنترل‌کننده‌های صنعتی که علل توقف الکترونیکی و تجاوز از گشتاور مشترک را در سطح سخت‌افزار ثبت می‌کنند، این برچسب‌گذاری را قابل کنترل می‌کنند.

حاشیه‌نویسی زمان چرخه، قسمت‌های ربات را به نتایج تولید متصل می‌کند. دانستن اینکه قسمت ۴۷۱۲ کار مونتاژ را در ۸.۳ ثانیه با پرچم‌های کیفیت صفر انجام داده است، داده‌های یادگیری ربات را به سیستم MES متصل می‌کند و امکان انتخاب نمایش‌های با کیفیت بالا را برای آموزش فراهم می‌کند.

فراداده‌های مرتبط با MES، پل ارتباطی هستند. هنگامی که سیستم ثبت داده‌های یک ربات، فایل‌های اپیزود را با شناسه‌های کاری MES، انواع قطعات و نتایج کیفی پیوست شده می‌نویسد، مجموعه داده‌های حاصل را می‌توان به صورت برنامه‌نویسی فیلتر کرد. اپیزودهای مرتبط با دوباره‌کاری، ضایعات یا لغو اپراتور را می‌توان حذف کرد یا به عنوان نمونه‌های خرابی در نظر گرفت.

در عمل، هنگام مقاوم‌سازی یک سلول آزمایشی برای ضبط داده‌ها، رایج‌ترین گلوگاه، قابلیت ثبت وقایع ربات نیست، بلکه معماری شبکه سلول است. بخش‌های اترنت صنعتی که برای ارتباط PLC با ربات با نرخ‌های زیر کیلوهرتز طراحی شده‌اند، همیشه برای پهنای باند جریان‌های ویدیویی چند دوربینی پیوسته به علاوه حس عمقی، اندازه ندارند. سلولی که دو دوربین 1080p با سرعت 30 فریم در ثانیه به علاوه داده‌های نیروی شش محوره به علاوه حالت‌های مفصل را اجرا می‌کند، تقریباً 150 تا 300 مگابایت در دقیقه از داده‌های خام قسمت تولید می‌کند. برنامه‌ریزی زیرساخت ذخیره‌سازی و شبکه قبل از استقرار، از هزینه‌های مقاوم‌سازی بعدی جلوگیری می‌کند.

برچسب گذاری خطوط لوله و ابزارآلات

ضبط‌های خام اپیزودها برای آموزش آماده نیستند. آن‌ها به حاشیه‌نویسی‌های زبانی، ماسک‌های تقسیم‌بندی اشیا و در برخی موارد برچسب‌های پاداش نیاز دارند.

حاشیه‌نویسی زبان

مدل‌های VLA وابسته به زبان، به یک توصیف زبان طبیعی از وظیفه هر قسمت نیاز دارند. برای مجموعه داده‌های کوچک، این کار به صورت دستی انجام می‌شود؛ برای مجموعه داده‌های بالای 10,000 قسمت، حاشیه‌نویسی خودکار با استفاده از مدل‌های زبان بینایی (GPT-4V، Gemini یا مدل‌های زیرنویس تخصصی) ضروری می‌شود. کنترل کیفیت مستلزم بررسی انسانی یک نمونه برای تشخیص خطاهای سیستماتیک در حاشیه‌نویس خودکار است.

قطعه‌بندی و ردیابی شیء

سیاست‌هایی که در مورد وضعیت شیء استدلال می‌کنند، از ماسک‌های قطعه‌بندی هر قسمت که اشیاء دستکاری‌شده را شناسایی می‌کنند، بهره می‌برند. مدل قطعه‌بندی هر چیزی (SAM 2) از Meta، قطعه‌بندی تعاملی را در مقیاس مجموعه داده قابل پیگیری می‌کند و زمان حاشیه‌نویسی را از ساعت‌ها به دقیقه در هر قسمت، هنگامی که با یک مسیر انتشار ردیابی ترکیب می‌شود، کاهش می‌دهد.

شکل‌دهی پاداش برای RLHF

وقتی اپیزودها شامل نمایش‌های موفقیت و شکست باشند، برچسب‌گذاری پاداش، امکان تنظیم دقیق یادگیری تقویتی از بازخورد انسانی (RLHF) را فراهم می‌کند. مفسران انسانی نتایج اپیزود را رتبه‌بندی می‌کنند و این ترجیحات، یک مدل پاداش را آموزش می‌دهند که به‌روزرسانی‌های سیاست را شکل می‌دهد. این خط لوله در توسعه pi0 شرکت Physical Intelligence استفاده می‌شود و برای آموزش وظایف صنعتی که در آن برچسب‌های موفقیت/شکست دودویی از قبل از MES در دسترس هستند، در حال بررسی است.

حریم خصوصی، IP و مجوز مجموعه داده‌ها

مشارکت در مجموعه داده‌های باز، سوالاتی در مورد مالکیت معنوی ایجاد می‌کند که تولیدکنندگان تجهیزات اصلی (OEM) صنعتی قبل از مشارکت باید آنها را حل کنند.

دسته‌های اصلی مجوزهای مورد استفاده عبارتند از CC-BY (الزامی برای انتساب، استفاده تجاری مجاز)، CC-BY-NC (فقط غیرتجاری) و Apache 2.0 (مجاز، شامل استفاده تجاری و توزیع مجدد وزن مدل). مجموعه داده‌های اختصاصی (Tesla Optimus، داده‌های ناوگان Figure، Boston Dynamics) به صورت خارجی به اشتراک گذاشته نمی‌شوند.

برای تولیدکنندگان اصلی تجهیزات کارخانه‌ای، نگرانی در مورد مالکیت معنوی، افشای فرآیند است: یک رویداد که پیکربندی خاص جیگینگ، مسیر ابزار یا طراحی فیکسچر را نشان می‌دهد، ممکن است روش‌های تولید اختصاصی را آشکار کند. روش استاندارد برای کاهش این مشکل، حذف زمینه بصری تا سطح عامل نهایی، ارائه فقط جریان‌های مسیر مشترک (بدون داده‌های دوربین) یا استفاده از رندرهای مصنوعی مسیر دستکاری در برابر یک پس‌زمینه عمومی است. چندین مدل کنسرسیوم نوظهور، چارچوب‌های قانونی برای ارائه داده‌های صنعتی ناشناس تحت توافق‌نامه‌های عدم افشای متقابل همراه با مجوزهای داده آپاچی ۲.۰ ارائه می‌دهند.

طبق تحلیل استنفورد CRFM و همکارانش در نظرسنجی یادگیری ربات ۲۰۲۴، انبارهای داده اختصاصی، بزرگترین مانع ساختاری برای پیشرفت هوش مصنوعی تجسم‌یافته فراتر از معیارهای فعلی هستند. تولیدکنندگان اصلی تجهیزات صنعتی که اکنون چارچوب‌های داخلی مدیریت داده‌ها را توسعه می‌دهند، در موقعیت مشارکت در کنسرسیوم‌های مجموعه داده‌ها قرار خواهند گرفت، زیرا این برنامه‌ها طی ۱۸ تا ۲۴ ماه آینده رسمی می‌شوند.

چگونه تولیدکنندگان اصلی تجهیزات کارخانه‌ای می‌توانند داده‌ها را ارائه دهند

تأمین‌کنندگان اتوماسیون صنعتی (از جمله FANUC، ABB، KUKA و یکپارچه‌سازان کلید در دست معتبر مانند EVST) در نقطه تلاقی سخت‌افزار ربات و محیط‌های تولید واقعی قرار دارند. این موقعیت، در صورت وجود چارچوب عملیاتی و قانونی، آنها را به مشارکت‌کنندگان طبیعی در اکوسیستم داده‌های هوش مصنوعی تجسم‌یافته تبدیل می‌کند.

سلول‌های آزمایشی با پوشش تله‌اکشن

در دسترس‌ترین نقطه ورود، یک سلول آزمایشی است که در آن ربات تولیدی به یک پوشش تله‌اکشن مجهز شده است: یک بازوی رهبر-پیرو که اپراتور از آن برای نمایش انواع وظایف تولید استفاده می‌کند. این نمایش‌ها در حجم کم (50 تا 500 قسمت) جمع‌آوری می‌شوند و برای تنظیم دقیق یک مدل VLA از پیش آموزش‌دیده بر روی وظیفه تولید خاص کافی هستند. رویکرد سلول آزمایشی نیازی به تغییر در گواهینامه ایمنی سلول تولیدی ندارد زیرا سیستم تله‌اکشن به عنوان یک دستگاه ورودی به کنترل‌کننده ربات عمل می‌کند، نه به عنوان یک مسیر کنترل موازی.

مقاوم‌سازی ثبت وقایع در ربات‌های تولیدی

ربات‌های تولیدی موجود را می‌توان با ماژول‌های ثبت وقایع سبک وزن که حالت مفصل، موقعیت اندام انتهایی و نیروی چنگک را با نرخ‌های EtherCAT ثبت می‌کنند، ارتقا داد و فایل‌های اپیزود با مهر زمانی را در طول اجرای تولید در یک سرور لبه نوشت. این کار نیازی به تغییر در برنامه کنترل ربات ندارد. داده‌های ثبت شده، رفتار دستکاری تولید واقعی را ثبت می‌کنند که نسبت به نمایش‌های آزمایشگاهی، نمایانگر وظیفه بهتری است. کنترل‌کننده‌های صنعتی EVST که با زمان‌های چرخه EtherCAT 1 کیلوهرتز کار می‌کنند و مطابق با استانداردهای CE/SGS/TUV تأیید شده‌اند، معماری زمان‌بندی قطعی را که این رویکرد ثبت وقایع به آن وابسته است، ارائه می‌دهند. داده‌ها را می‌توان بدون کار مجدد پرهزینه، برای چارچوب‌های استاندارد یادگیری ربات تمیز، ناشناس و قالب‌بندی کرد.

مشارکت در برنامه مجموعه داده‌های ناشناس

برنامه‌های نوظهور مجموعه داده‌های تولیدکنندگان اصلی (از جمله مسیر مشارکت آزاد AgiBot World و چندین بحث کنسرسیومی در ICRA 2025) داده‌های دستکاری صنعتی بدون هویت را می‌پذیرند. تولیدکنندگان اصلی دارای گواهینامه IATF16949، مانند EVST، فرآیندهای مدیریت کیفیت موجود دارند که به خوبی با الزامات یکپارچگی فراداده که این برنامه‌ها مشخص می‌کنند، مطابقت دارند: مهرهای زمانی قابل ردیابی، پروتکل‌های جمع‌آوری مستند و سوابق کالیبراسیون حسگر معتبر.

پوشش میدانی جهانی به عنوان یک مزیت داده‌ای

یک تولیدکننده تجهیزات اصلی (OEM) با مهندسان میدانی در بیش از ۱۰۰ کشور می‌تواند داده‌های آموزشی هوش مصنوعی تجسم‌یافته را از محیط‌های تولیدی واقعاً متنوع (هندسه‌های مختلف قطعه کار، شرایط محیطی، جمعیت‌شناسی اپراتور و تغییرات فرآیند) جمع‌آوری کند. این تنوع جغرافیایی ارزشمند است زیرا سیاست‌های آموزش‌دیده بر اساس آن، بهتر از سیاست‌های آموزش‌دیده بر اساس داده‌های یک آزمایشگاه یا مرکز واحد، تعمیم‌پذیر هستند. ربات‌های دارای گواهی ضد انفجار و مجموعه کامل ۳ تا ۸۰۰ کیلوگرمی EVST به این معنی است که جمع‌آوری داده‌ها می‌تواند به محیط‌هایی مانند فرآوری شیمیایی، جابجایی مواد خطرناک و تولید در دمای بسیار بالا که اکثر مجموعه داده‌های دانشگاهی اصلاً پوشش نمی‌دهند، گسترش یابد.

نکات کلیدی داده‌های صنعت

طبق گزارش فدراسیون بین‌المللی رباتیک (IFR) با عنوان «جهان رباتیک ۲۰۲۴»، بیش از ۳.۹ میلیون ربات صنعتی در سال ۲۰۲۳ در سطح جهان در حال فعالیت بودند، با این حال بزرگترین مجموعه داده‌های دستکاری ربات‌های باز شامل کمتر از ۲ میلیون قسمت در مجموع هستند که نشان‌دهنده شکاف مقیاس بین سخت‌افزار مستقر و داده‌های آموزشی موجود است. EVST با بررسی معماری‌های ثبت وقایع مقاوم‌سازی که ناوگان ربات‌های تولیدی را به دارایی‌های جمع‌آوری داده‌های غیرفعال تبدیل می‌کنند، به این موضوع می‌پردازد.

طبق مقاله Open X-Embodiment (Padalkar و همکاران، Google DeepMind و همکاران، 2023)، مدل‌های آموزش‌دیده بر روی داده‌های تجسم متقابل از بیش از 22 نوع ربات، تعمیم‌پذیری به مراتب بهتری را در وظایف محدود شده نسبت به مدل‌های آموزش‌دیده بر روی داده‌های هر تجسم به تنهایی نشان دادند. EVST با ساختاردهی چارچوب ارزیابی داده‌های داخلی خود برای وزن‌دهی به تنوع تجسم در کنار تعداد قسمت‌ها هنگام ارزیابی سودمندی مجموعه داده‌ها برای ارزیابی‌های تنظیم دقیق خط تولید، به این موضوع می‌پردازد.

طبق مشاهدات صنعتی از چندین آزمایشگاه یادگیری ربات در سال‌های ۲۰۲۴-۲۰۲۵، شکاف شبیه‌سازی بصری به واقعیت، دلیل اکثر موارد شکست سیاست در وظایف دستکاری است که شامل اشیاء آینه‌ای یا شفاف می‌شوند، که تکنیک‌های تصادفی‌سازی دامنه استاندارد به طور قابل اعتمادی آنها را پوشش نمی‌دهند. EVST با نظارت بر ابزارهای شبیه‌سازی واقع‌گرایانه (به ویژه NVIDIA Cosmos و Gaussian Splatting pipelines) به عنوان لایه‌های تقویت کاندید برای نقشه راه برنامه‌ریزی حرکت بهبود یافته با هوش مصنوعی خود، به این موضوع می‌پردازد.

راهنماهای مرتبط

• مدل‌های هوش مصنوعی و VLA تجسم‌یافته در رباتیک صنعتی: آنچه مهندسان کارخانه باید بدانندمعماری مدل‌های بینایی-زبان-عمل و محدودیت‌های استقرار آنها در سخت‌افزار عملیاتی را پوشش می‌دهد.
• ربات‌های انسان‌نما در تولید صنعتی ۲۰۲۶بررسی می‌کند که کدام وظایف واقعاً توسط پلتفرم‌های انسان‌نما در مقابل بازوهای صنعتی مرسوم قابل انجام هستند.
• ربات‌های انسان‌نما در مقابل بازوهای رباتیک صنعتی برای استفاده در کارخانه‌ها در سال ۲۰۲۶مقایسه مستقیم قابلیت، هزینه و پیچیدگی ادغام بین دو فاکتور شکل.
• راهنمای کامل ربات‌های همکار: انواع، انتخاب و کاربردها در سال 2026مرجع اساسی برای انتخاب ربات مشارکتی بر اساس بار مفید، کاربرد و الزامات محیطی.

پرسش و پاسخهای متداول

چرا جمع‌آوری داده‌های هوش مصنوعی تجسم‌یافته سخت‌تر از جمع‌آوری داده‌ها برای مدل‌های زبانی است؟

مدل‌های زبانی بر اساس متنی که از قبل در اینترنت در مقیاس بسیار بزرگ وجود دارد، آموزش می‌بینند. ربات‌های هوش مصنوعی تجسمی باید داده‌های حسی-حرکتی مرتبط با عمل را جمع‌آوری کنند: زوایای هماهنگ مفاصل، نیروهای چنگک، فریم‌های دوربین و زمینه کار، که همگی در حین دستکاری فیزیکی ثبت می‌شوند. این داده‌ها در مقیاس وب وجود ندارند و تولید آنها پرهزینه است. هر قسمت از راه دور معمولاً ۱ تا ۱۰ دقیقه زمان اپراتور ماهر را برای تولید یک مسیر آموزشی واحد می‌طلبد و اگر اپراتور با دینامیک ربات آشنا نباشد، کیفیت کاهش می‌یابد.

تفاوت بین انتقال شبیه‌سازی به واقعی و تصادفی‌سازی دامنه در آموزش ربات چیست؟

هدف کلی انتقال شبیه‌سازی به واقعیت است: آموزش یک سیاست در شبیه‌سازی و استقرار آن بر روی یک ربات فیزیکی بدون افت عملکرد. تصادفی‌سازی دامنه یکی از تکنیک‌های دستیابی به این هدف است. این روش پارامترهای شبیه‌سازی - نورپردازی، بافت‌ها، ضرایب اصطکاک، جرم اشیاء - را به صورت تصادفی در طول آموزش تغییر می‌دهد، بنابراین سیاست یاد می‌گیرد که به جای بیش‌برازش به یک ظاهر شبیه‌سازی شده واحد، تغییرات دنیای واقعی را مدیریت کند. روش‌های دیگر شامل انطباق دامنه، رندر واقع‌گرایانه (مانند NVIDIA Cosmos) و شناسایی سیستم است.

Open X-Embodiment چیست و چند نوع ربات را پوشش می‌دهد؟

Open X-Embodiment یک مجموعه داده یادگیری ربات باز در مقیاس بزرگ است که توسط Google DeepMind با ۳۳ موسسه تحقیقاتی همکار گردآوری شده است. این مجموعه بیش از ۱ میلیون اپیزود ربات را در بیش از ۲۲ تجسم ربات - بازوهای تک بازو، دکل‌های دو دستی، پایه‌های متحرک و دست‌های ماهر - جمع‌آوری می‌کند. مدل‌های RT-X آموزش دیده در OXE نشان دادند که آموزش تجسم متقابل، تعمیم سیاست را در مقایسه با خطوط پایه تک تجسم بهبود می‌بخشد.

چگونه یک تولیدکننده اصلی تجهیزات کارخانه می‌تواند داده‌های ربات را بدون افشای مالکیت معنوی فرآیند اختصاصی، در آموزش هوش مصنوعی تجسم‌یافته به کار گیرد؟

عملی‌ترین رویکرد، مشارکت ناشناس در اپیزود است: فراداده‌های شناسایی فرآیند (شماره قطعات، ارجاعات مشتری، اهداف زمان چرخه) حذف می‌شوند و فقط جریان‌های مسیر مشترک و حالت گیرنده ارائه می‌شوند. چندین برنامه مجموعه داده - از جمله AgiBot World و ابتکارات نوظهور کنسرسیوم OEM - داده‌های دستکاری صنعتی بدون شناسایی را تحت شرایط Apache 2.0 یا CC-BY می‌پذیرند. زیرساخت ثبت وقایع با مهرهای زمانی قطعی EtherCAT تضمین می‌کند که کیفیت اپیزود مطابق با استانداردهای دریافت مجموعه داده باشد.

کدام سیستم جمع‌آوری داده از راه دور برای وظایف دستکاری صنعتی بهترین عملکرد را دارد؟

برای دستکاری صنعتی، گزینه‌های پیشرو عبارتند از ALOHA 2 (بازوهای دو دستی رهبر-پیرو، کم‌هزینه، متن‌باز)، UMI (مچ‌بند، جدا از ربات، بسیار قابل حمل) و ضبط مبتنی بر اسکلت بیرونی برای وظایف با بار بیشتر یا تمام بدن. دستگاه‌های واقعیت مجازی با استفاده از Apple Vision Pro یا Meta Quest 3 برای ضبط دو دستی شهودی مورد توجه قرار گرفته‌اند، اما برای تبدیل سینماتیک دست انسان به فضای مفصل ربات، به خطوط لوله هدف‌گیری مجدد نیاز دارند. انتخاب صحیح به درجات آزادی ربات هدف، بار مفید و اینکه آیا این کار به دو دست نیاز دارد یا خیر، بستگی دارد.

آخرین بروزرسانی: 23 آوریل 2026

مشاهده ما راهکارهای هوش مصنوعی تجسمی →