یک ربات اسباب‌بازی متعلق به سال ۱۹۸۴، با کمک برد رزبری پای ۵ و دوربین مجهز به هوش مصنوعی، به قابلیت‌های تازه‌ای مانند تشخیص اشیا و دنبال‌کردن افراد مجهز شده است.
اومنی‌بات، محصول شرکت ژاپنی Tomy، در زمان عرضه می‌توانست با کنترل از راه دور حرکت کند، صدا پخش کند و اشیای کوچکی را روی سینی خود حمل کند؛ اما قابلیت‌های آن به فرمان‌های ازپیش‌تعیین‌شده محدود بود. ماریو کروز، سازنده‌ی این پروژه، پس از تعمیر مدار و بخش‌های مکانیکی آسیب‌دیده، تصمیم گرفت سامانه‌ی ادراک و کنترل ربات را ارتقا دهد.
Ring-O؛ مغز جدید ربات قدیمی
برای هوشمندسازی اومنی‌بات، یک ماژول همراه به نام Ring-O طراحی شده است که به رزبری پای ۵ با ۸ گیگابایت رم، دوربین هوش مصنوعی Sony IMX500 و نمایشگر OLED رنگی مجهز است. این ماژول با چاپ سه‌بعدی ساخته شده و روی بدنه‌ی ربات قرار می‌گیرد.
دوربین IMX500 مدل تشخیص شیء YOLO11-nano را اجرا می‌کند و قادر است ۸۰ دسته از اشیای روزمره را شناسایی کند. پردازش بینایی روی خود دوربین انجام می‌شود و اطلاعات تشخیص، از جمله نوع شیء و موقعیت آن در تصویر، در اختیار رزبری‌پای قرار می‌گیرد.
ماریو با مهندسی معکوس دریافت که مدار اصلی ربات از سیگنال‌های صوتی با فرکانس مشخص برای کنترل حرکت استفاده می‌کند. به همین دلیل، برد رزبری‌پای ۵ با تولید این فرکانس‌ها از طریق یک مبدل کاست بلوتوث می‌تواند فرمان‌هایی مانند حرکت به جلو و گردش را به ربات ارسال کند.
کنترل سریع با الگوریتم‌های ساده
سازنده در ابتدا تلاش کرد از یک مدل زبانی بزرگ برای هدایت ربات استفاده کند، اما تأخیر حدود ۱۵ ثانیه‌ای پاسخ‌ها و فرمان‌های نامناسب، این روش را برای کنترل حرکت ناکارآمد کرد. در نهایت، هدایت ربات با قواعد ساده مبتنی بر موقعیت هدف در تصویر انجام شد. اگر فرد در سمت چپ یا راست قاب قرار بگیرد، ربات به همان سمت می‌چرخد و در صورت قرارگیری فرد در مرکز تصویر، به جلو حرکت می‌کند.
در این معماری، تشخیص اشیا به دوربین، پردازش و منطق هدایت به رزبری‌پای و کنترل موتور به مدار اصلی ربات سپرده شده است. مدل زبانی نیز برای وظایف تعاملی‌تر، مانند توضیح اشیای مشاهده‌شده، به کار می‌رود.
Ring-O همچنین به نمایشگر OLED مجهز است که با نمایش چشم متحرک و حالت‌هایی مانند پلک‌زدن و دنبال‌کردن حرکت، به ربات شخصیت بصری می‌دهد. رابط تحت وب پروژه نیز امکان تعریف مأموریت‌هایی مانند پیدا کردن انسان، کفش یا توپ را فراهم می‌کند.
کدهای پروژه‌ی OmniAI در گیت‌هاب با مجوز MIT منتشر شده‌اند. این مخزن شامل بخش‌هایی برای کنترل اومنی‌بات از طریق سیگنال صوتی، تشخیص اشیا با دوربین IMX500، رابط تحت وب و نمایش چشم متحرک است. مستندات پروژه، اجرای YOLO11-nano روی تراشه‌ی دوربین را با زمان استنتاج حدود ۱۷ میلی‌ثانیه و نرخ تقریبی ۳۰ فریم بر ثانیه توصیف می‌کند.
منابع: Hackster | مخزن GitHub پروژه