R2S2R چیست؛ روش تازه‌ی ورلدلبز برای آموزش ربات‌ها بدون داده‌ی واقعی

شرکت ورلدلبز (World Labs)، استارتاپی که با هم‌بنیان‌گذاری فی‌فی لی (Fei-Fei Li؛ مشهور به مادرخوانده‌ی هوش مصنوعی) روی توسعه‌ی هوش مصنوعی مکانی (Spatial Intelligence) متمرکز است، جزئیات فنی موتور تازه‌ای به نام R2S2R (مخفف Real-to-Sim-to-Real)، یعنی از واقعیت به شبیه‌سازی و بازگشت به واقعیت را منتشر کرده است. این فناوری که میراث تصاحب استارتاپ رباتیک سینیکس (SceniX) در تیرماه امسال است، ادعا می‌کند می‌تواند سیاست‌های کنترلی ربات (Policy؛ مدلی که بر اساس مشاهدات، تصمیم به اقدام بعدی ربات می‌گیرد) را بدون هیچ داده‌ی آموزشی واقعی و کاملاً براساس شبیه‌سازی آموزش دهد و سپس مستقیماً روی سخت‌افزار واقعی مستقر کند.

مسئله‌ای که فناوری R2S2R قصد حل آن را دارد

به گفته‌ی ورلدلبز، بسیاری از نمایش‌های آزمایشگاهی ربات‌های امروزی چشم‌گیرند، اما چالش واقعی، عملکرد پایدار در دنیای واقعی است؛ جایی که اجسام جابه‌جا می‌شوند، درهم‌ریختگی به وجود می‌آید، نور تغییر می‌کند و هر تعامل فیزیکی کمی با تعامل قبلی فرق دارد. طبق مقاله‌ی ورلدلبز، همین فاصله‌ی میان یک دموی قانع‌کننده و یک ربات قابل‌اتکا در مقیاس صنعتی، بزرگ‌ترین مانع استقرار گسترده‌ی سامانه‌های رباتیک است.

آماده‌سازی یک ربات برای دنیای واقعی معمولاً به جمع‌آوری داده‌ی گسترده و آزمون مکرر روی سخت‌افزار فیزیکی نیاز دارد؛ کاری که برای هر وظیفه یا محیط تازه، تلاش قابل‌توجهی می‌طلبد، در حالی که شناسایی خطاها کند و اصلاح آن‌ها پرهزینه است. به باور ورلدلبز، حل این مشکل تنها با الگوریتم‌های بهتر یادگیری ماشین میسر نمی‌شود؛ بلکه باید روشی مقیاس‌پذیر و داده‌محور برای ساختن همان تجربه‌ای ساخت که ربات‌ها پیش و پس از ورود به میدان عمل به آن نیاز دارند.

چرا مقیاس‌دادن به یادگیری ربات این‌قدر دشوار است

مدل‌های زبانی بزرگ از حجم عظیم متن موجود در اینترنت بهره می‌برند؛ منبعی که سه دهه انباشته شده و به‌سادگی در دسترس است. اما تجربه‌ی رباتیک این‌طور نیست؛ در هر تکرار یک آموزش، زمانی طول می‌کشد تا اجسام به حالت اول بازگردانده شوند و خطاها جبران شوند. حتی داده‌ی ویدیویی در مقیاس اینترنت هم نمی‌تواند به‌طور نظام‌مند تمام محیط‌ها، اجسام، ظاهرها، خواص فیزیکی، وضعیت‌های ربات، انواع بدنه‌ی رباتیک و شرایط خطا را که برای آموزش ربات‌های قابل‌اتکا لازم است، پوشش دهد.

ورلدلبز به تجربه‌ی صنعت خودروی خودران هم اشاره می‌کند که با وجود بدنه‌ی فیزیکی و محیط کاری به‌مراتب ساده‌تر از رباتیک عمومی، همین درس را آموخته است. امروز موفق‌ترین خودروهای خودران در سطح ۳ و ۴ (بر اساس استاندارد درجه‌بندی خودمختاری SAE، که در آن سطح ۴ به معنای خودمختاری کامل در شرایط و محدوده‌ی مشخص است)، با ترکیبی از داده‌ی رانندگی واقعی و داده‌ی شبیه‌سازی‌شده آموزش دیده‌اند.

در طبقه‌بندی پیشنهادی خود ورلدلبز از مدل‌های جهان، سه سطح تعریف شده است: رندرر (Renderer؛ صرفاً تولید تصویر از یک صحنه)، شبیه‌ساز (Simulator؛ محیطی که در آن یک عامل هوشمند می‌تواند واقعاً اقدام کند، یاد بگیرد و ارزیابی شود) و برنامه‌ریز (Planner؛ که اقدام بعدی را پیش‌بینی و برنامه‌ریزی می‌کند). به باور این شرکت، شبیه‌ساز نقطه‌ی محوری این طبقه‌بندی است، چون دقیقاً همان لایه‌ای است که یک جهان مجازی را به مکانی برای یادگیری واقعی تبدیل می‌کند. موتور R2S2R، این ادعا را در عمل اثبات می‌کند.

بخش نخست: از واقعیت به شبیه‌سازی

مرحله‌ی واقعیت به شبیه‌سازی با ضبط یک وظیفه‌ی فیزیکی واقعی آغاز می‌شود. در این گام، خود ربات، حسگرهایش، محیط اطراف، اجسام مرتبط و نمونه‌های عملی از انجام آن وظیفه ثبت و سپس به‌عنوان یک جهان تعاملی بازسازی می‌شوند؛ جهانی که هم آنچه ربات ادراک می‌کند و هم تعاملات فیزیکی‌ای که موفقیت یا شکست وظیفه را رقم می‌زنند، حفظ می‌کند.

محیط‌های واقعی اندازه‌گیری‌های تمیز و دقیقی ندارند. شکل، وزن و اصطکاک یک جسم ممکن است نامشخص باشد؛ دوربین‌ها و ربات‌ها ممکن است با مشخصات دقیق کارخانه‌ای تفاوت داشته باشند و کابل‌ها، بسته‌بندی‌ها یا ابزارها به گونه‌ای تغییر شکل می‌دهند که مدل‌های ساده نمی‌توانند آن‌ها را به‌طور کامل و دقیق ثبت کنند. به همین دلیل، سامانه‌ی ورلدلبز ترکیبی از روش‌های مختلف نمایش و مدل‌سازی را بسته به آنچه برای هر وظیفه اهمیت دارد، به کار می‌گیرد و هر جهان بازسازی‌شده را با مقایسه‌ی مستقیم مشاهدات، واکنش اجسام و نتیجه‌ی نهایی میان شبیه‌سازی و واقعیت، اعتبارسنجی می‌کند.

نتیجه‌ی این فرایند، تبدیل یک وظیفه‌ی واحد به هزاران نسخه‌ی متفاوت و قابل‌کنترل است. ظاهر صحنه، چیدمان اجسام، میزان درهم‌ریختگی، خواص فیزیکی، وضعیت ربات و زاویه‌ی دوربین، همگی می‌توانند به‌طور نظام‌مند تغییر کنند تا تنوعی از تجربه فراهم شود که ربات برای تعمیم‌یافتن به آن نیاز دارد. ورلدلبز این رویکرد را روی وظایفی متنوع، از دست‌کاری کابل‌های قابل‌انعطاف و بسته‌بندی جعبه با دو بازو، تا جابه‌جایی سیم برق دور یخچال و انتقال لوله‌آزمایش، آزموده است.

بخش دوم: از شبیه‌سازی به واقعیت

پس از بازسازی یک جهان هم‌راستا با واقعیت، همان جهان به موتوری مقیاس‌پذیر برای آموزش و ارزیابی تبدیل می‌شود. مهم‌ترین ادعای ورلدلبز این است که سیاست‌های کنترلی‌ای که کاملاً و تنها در شبیه‌سازی آموزش دیده‌اند (بدون هیچ داده‌ی واقعی)، توانسته‌اند مستقیماً به پلتفرم‌های رباتیک واقعی و متفاوتی از جمله ALOHA، YAM و RB-Y1 و فلکسیو (Flexiv) و ایکس‌آرم (xArm) منتقل شوند و در برخی موارد، تا یک ساعت به‌طور کاملاً خودمختار و بدون دخالت انسان کار کنند. نکته‌ی مهم دیگر این است که این سامانه مستقل از نوع سیاست کنترلی و نوع بدنه‌ی رباتیک عمل می‌کند؛ یعنی یک جهان شبیه‌سازی‌شده‌ی واحد می‌تواند برای آموزش چند مدل و چند نوع ربات مختلف استفاده شود، و هر وظیفه‌ای که یک‌بار بازسازی شود، به‌جای یک شبیه‌سازی یک‌بارمصرف، به زیرساختی قابل‌استفاده‌ی مجدد برای سخت‌افزارها و مدل‌های آینده تبدیل می‌شود.

جنبه‌ی دوم این بخش، ارزیابی است. توسعه‌ی ربات معمولاً چند مرتبه کندتر از توسعه‌ی مدل‌های زبانی پیش می‌رود، دقیقاً چون ارزیابی عملکرد آن به‌شدت به سخت‌افزار فیزیکی وابسته است. به‌جای منتظرماندن برای بروز خطا روی سخت‌افزار واقعی، شبیه‌سازی هم‌راستا با واقعیت اجازه می‌دهد تیم‌ها فعالانه، در هزاران شرایط کنترل‌شده، به‌دنبال نقاط ضعف یک مدل بگردند، بخش بزرگی از نسخه‌های آزمایشی مدل را پیش از رسیدن به آزمون سخت‌افزاری واقعی حذف کنند و آزمون گران‌قیمت روی سخت‌افزار را تنها به امیدوارکننده‌ترین نسخه‌ها اختصاص دهند.

نکته‌ی فنی مهمی که ورلدلبز روی آن تأکید می‌کند این است که یک شبیه‌سازی مفید، لزوماً نباید نرخ موفقیت دقیقاً یکسانی با دنیای واقعی داشته باشد؛ بلکه کافی است بتواند همان تصمیم‌ها را پشتیبانی کند؛ اینکه کجا یک سیاست موفق یا ناموفق می‌شود، کدام سیاست بهتر از دیگری است و آیا بهبودهای مشاهده‌شده در آموزش، در سخت‌افزار واقعی هم تکرار می‌شود یا نه.

برای اثبات این ادعا، ورلدلبز یک وظیفه‌ی «تحویل مکعب با دو بازو» را روی ربات ALOHA آزموده و هر نسخه‌ی آزمایشی مدل را در ۲۰۰۰ آزمون شبیه‌سازی‌شده (۱۰۰۰ مورد در محدوده‌ی توزیع آموزشی یا ID، و ۱۰۰۰ مورد خارج از آن یا OOD) و تنها ۱۰۰ آزمون واقعی مقایسه کرده است. نتیجه نشان می‌دهد رتبه‌بندی نسبی سیاست‌ها (اینکه کدام مدل بهتر از دیگری عمل می‌کند)، در شبیه‌سازی و دنیای واقعی هم‌خوانی دارد؛ حتی الگوی مکانی موفقیت و شکست هم در هر دو محیط مشابه است. به بیان دیگر، تیم‌های رباتیک می‌توانند بخش زیادی از فرایند آزمون‌وخطا را، پیش از لمس‌کردن سخت‌افزار واقعی، در شبیه‌سازی انجام دهند.

اهمیت اقتصادی و جایگاه این فناوری

اگر ادعاهای ورلدلبز در عمل و در مقیاس بزرگ‌تر هم تکرارپذیر باشند، پیامد اقتصادی آن قابل‌توجه است. کاهش چشمگیر هزینه و زمان لازم برای توسعه‌ی سیاست‌های کنترلی رباتیک، دقیقاً همان الگویی که پیش‌تر صنعت خودروی خودران را ممکن کرد. این رویکرد با جهت‌گیری کلی‌تر صنعت هوش مصنوعی فیزیکی هم هم‌راستاست؛ شرکت انویدیا مدل‌ Cosmos را براساس همین ایده‌ی تولید داده‌ی مصنوعی و آموزش در شبیه‌سازی پیش از استقرار واقعی توسعه داده است، هرچند رویکرد فنی هرکدام متفاوت است.


اغلب گفت‌وگوهای عمومی درباره‌ی شبیه‌سازی رباتیک، روی آموزش مدل تمرکز دارند، اما ورلدلبز به‌درستی اشاره می‌کند که ارزیابی سریع و قابل‌اعتماد، همان‌قدر برای سرعت‌بخشیدن به توسعه‌ی ربات حیاتی است که خود آموزش. اگر تیمی بتواند صدها نسخه‌ی آزمایشی از یک مدل را در شبیه‌سازی غربال کند و فقط بهترین‌ها را روی سخت‌افزار واقعی آزمایش کند، سرعت کل چرخه‌ی توسعه به‌طور بنیادین تغییر خواهد کرد.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *