انویدیا در پروژه‌ای جدید نشان داده است که عامل‌های هوش مصنوعی می‌توانند بخش بزرگی از فرایند آموزش ربات‌ها را در محیط شبیه‌سازی انجام دهند. در این پروژه، ربات دوپای کوچک Microduck یاد می‌گیرد در مسیری شامل رمپ‌ها، سطوح ناهموار و موانع حرکت کند.
اهمیت پروژه فقط به یادگیری حرکت محدود نمی‌شود. عامل‌های هوش مصنوعی در برنامه‌ریزی پروژه، طراحی محیط سه‌بعدی، شبیه‌سازی و هماهنگ‌کردن مراحل توسعه نیز نقش دارند. انویدیا این گردش کار را در مقاله‌ای فنی در ۲۳ اکتبر ۲۰۲۶ منتشر کرده است. هدف، کوتاه‌کردن مسیر تبدیل یک ایده رباتیکی به محیطی قابل آزمایش و سپس آماده‌سازی سیاست کنترلی برای انتقال به ربات واقعی است.
از دستور متنی تا طراحی محیط سه‌بعدی
فرایند با تعریف یک هدف آغاز می‌شود که طراحی مسیر برای Microduck و آموزش آن به‌گونه‌ای باشد که بتواند مسیر را تشخیص دهد، حرکت خود را تنظیم و تعادلش را حفظ کند.
در این مرحله، انویدیا از RTX Spark به‌عنوان مرکز توسعه محلی و از عامل‌های Hermes و NVIDIA Nemotron 3.5 Bolt برای تبدیل دستور اولیه به برنامه‌ای مرحله‌به‌مرحله استفاده می‌کند. این برنامه شامل بررسی مشخصات ربات، تعیین الزامات مسیر، طراحی محیط، تهیه‌ی مدل‌های سه‌بعدی، راه‌اندازی شبیه‌سازی و آماده‌سازی مراحل آموزش و ارزیابی می‌شود.
سپس یک مدل تولید تصویر، طرحی مفهومی از مسیر موانع ایجاد می‌کند. عامل‌های هوش مصنوعی تصویر را تحلیل کرده و اجزای قابل‌استفاده‌ی مجدد، مانند رمپ‌ها، سکوها، جعبه‌ها و چراغ‌های کارگاهی را شناسایی می‌کنند.
برای هر جزء، شناسه، توضیح و تصویر مرجع برش‌خورده تهیه می‌شود تا ساخت مدل سه‌بعدی بر اساس اطلاعات منظم‌تری انجام شود. اگر بخشی از یک شیء در تصویر دیده نشود، این محدودیت نیز باید ثبت شود تا ویژگی‌های نامعلوم با جزئیات قطعی اشتباه گرفته نشوند.
ساخت دارایی‌ها با FreeCAD و Blender
در ادامه، عامل هوش مصنوعی Astra وارد عمل می‌شود. این عامل تصاویر مرجع را بهبود می‌دهد و برای ساخت هندسه و جزئیات مدل‌ها از نرم‌افزارهای FreeCAD و Blender کمک می‌گیرد.
FreeCAD برای ایجاد هندسه و ساختارهای قابل‌ویرایش به کار می‌رود و Blender برای تکمیل جزئیات هندسی، مواد و ظاهر اشیا استفاده می‌شود. مدل‌های تولیدشده در قالب‌های قابل ویرایش و فایل‌های USD خروجی گرفته می‌شوند تا در محیط شبیه‌سازی قابل‌استفاده باشند.
انویدیا همچنین به کتابخانه SimReady Central اشاره می‌کند که بیش از ۲۰۰۰ دارایی سه‌بعدی آماده شبیه‌سازی در اختیار توسعه‌دهندگان قرار می‌دهد. استفاده از این دارایی‌ها می‌تواند نیاز به ساخت درباره‌ی همه‌ی اجزا را کاهش دهد.
سرهم‌بندی محیط در NVIDIA Isaac Sim
پس از آماده‌شدن دارایی‌ها، Astra محیط را در NVIDIA Isaac Sim سرهم‌بندی می‌کند. این نرم‌افزار امکان شبیه‌سازی ربات و محیط، تولید تصاویر واقع‌گرایانه و مدل‌سازی داده‌های حسگرها را فراهم می‌کند.
موتور فیزیک متن‌باز Newton نیز برای مدل‌سازی رفتار فیزیکی ربات، از جمله حرکت و حفظ تعادل، در این گردش کار استفاده می‌شود. در محیط شبیه‌سازی، ساختار ربات با اجزایی مانند لینک‌ها، مفصل‌ها و عملگرها تعریف می‌شود تا دستورات کنترلی به حرکت مدل‌شده تبدیل شوند و نتیجه‌ی تعامل ربات با زمین و موانع قابل مشاهده باشد.
آموزش در ۴۰۹۶ محیط شبیه‌سازی موازی
پس از ساخت محیط، نوبت به آموزش سیاست کنترلی ربات می‌رسد. در یادگیری تقویتی، ربات در محیط شبیه‌سازی اقدام می‌کند، نتیجه‌ی حرکت خود را دریافت می‌کند و با استفاده از پاداش‌ها و بازخوردهای تعریف‌شده، به‌تدریج رفتار بهتری یاد می‌گیرد.
برای مثال، حرکت موفق روی یک سطح شیب‌دار می‌تواند رفتار مطلوب محسوب شود، درحالی‌که افتادن یا برخورد با مانع ممکن است امتیاز منفی داشته باشد. هدف این است که سیاست کنترلی به‌جای حفظ یک توالی ثابت از حرکت‌ها، بر اساس وضعیت مشاهده‌شده اقدام مناسب‌تری انتخاب کند.
در این پروژه، NVIDIA Isaac Lab چارچوب آموزش و یادگیری ربات را فراهم می‌کند. این چارچوب متن‌باز برای آموزش سیاست‌های رباتیکی در مقیاس بزرگ طراحی شده و از یادگیری تقویتی و یادگیری تقلیدی پشتیبانی می‌کند.
برای آموزش حرکت روی رمپ‌ها و موانع، انویدیا از یک سیاست حرکتی ازپیش‌آموزش‌دیده در محیط نمونه Microduck شروع کرده و آن را برای وظیفه جدید تطبیق داده است. ربات از اطلاعات دوربین عمق نصب‌شده روی سر و داده‌های وضعیت داخلی خود استفاده می‌کند تا حرکتش را تنظیم کند.
آموزش این مرحله با ۴۰۹۶ محیط شبیه‌سازی موازی روی یک پردازنده گرافیکی NVIDIA RTX PRO 6000 Blackwell Workstation Edition انجام شده است. در این روش، تعداد زیادی نمونه شبیه‌سازی‌شده به‌طور هم‌زمان تجربه تولید می‌کنند و به روند یادگیری سرعت می‌بخشند.
پس از آموزش، سیاست کنترلی به RTX Spark بازگردانده می‌شود تا در NVIDIA Isaac Sim به‌صورت محلی ارزیابی شود.
توسعه‌دهندگان می‌توانند میزان موفقیت در تکمیل مسیر، تعداد زمین‌خوردن‌ها، برخوردها و نقاطی را که ربات در آن‌ها متوقف می‌شود ثبت کنند. این داده‌ها مشخص می‌کنند که آیا لازم است طراحی مسیر، تنظیمات شبیه‌سازی یا فرایند آموزش اصلاح شود.
تفاوت شبیه‌سازی با دنیای واقعی
موفقیت در شبیه‌سازی به‌معنای آمادگی قطعی برای عملکرد در دنیای واقعی نیست. رفتار موتورهای سروو، تأخیر در اجرای فرمان، لقی مکانیکی، افت ولتاژ باتری، اصطکاک زمین و تفاوت حسگرها می‌توانند باعث شوند ربات واقعی رفتاری متفاوت از مدل مجازی داشته باشد.
انویدیا برای کاهش این فاصله به مدل‌های پیشرفته‌تر عملگرها یا Better Actuator Models و روش «تصادفی‌سازی دامنه» اشاره می‌کند. در روش دوم، پارامترهای فیزیکی و نویز مشاهدات در محدوده‌های واقع‌گرایانه تغییر داده می‌شوند تا سیاست کنترلی در شرایط متنوع‌تری آموزش ببیند و نسبت به اختلاف‌های احتمالی میان شبیه‌سازی و سخت‌افزار واقعی مقاوم‌تر شود. این رویکرد می‌تواند برای توسعه‌دهندگانی جذاب باشد که می‌خواهند بدون ساخت محیطی پیچیده و فیزیکی، آموزش و آزمایش رفتار ربات‌ها را آغاز کنند.
پیش از این در ویکی ربات به معرفی ربات انسان‌نمای متن‌باز RoboParty RP1 پرداختیم؛ پروژه‌ای که بر دسترسی توسعه‌دهندگان به سخت‌افزار، نرم‌افزار و ابزارهای شبیه‌سازی تمرکز دارد. کنار هم قرارگرفتن چنین پلتفرم‌هایی با ابزارهایی مانند Isaac Sim و Isaac Lab می‌تواند مسیر آزمایش ایده‌ها و ساخت نسل بعدی ربات‌های هوشمند را برای پژوهشگران و سازندگان مستقل هموارتر کند.