پژوهشگران دانشگاه کالیفرنیا نمونه‌ای از یک انگشت شست رباتیک پوشیدنی به نام EgoThumb ساخته‌اند که می‌تواند به دست انسان اضافه شود و بخشی از وظایفی را بر عهده بگیرد که معمولاً به استفاده از هر دو دست نیاز دارند. این سامانه با کمک یک دوربین و الگوریتم هوش مصنوعی، حرکات دست و اشیای اطراف را بررسی می‌کند تا تشخیص دهد چه زمانی باید جسمی را بگیرد، نگه دارد یا رها کند. به این ترتیب، کاربر می‌تواند با انگشتان طبیعی خود روی بخش دیگری از کار تمرکز کند.
ایده‌ی ساخت این دستگاه از یک مشکل عملی آغاز شد. جیاوی فو، یکی از پژوهشگران اصلی پروژه، توضیح داده است که هنگام لحیم‌کاری سیم‌ها به ابزاری برای نگه‌داشتن قطعات نیاز داشته و با وجود استفاده از گیره‌های مخصوص، هماهنگ‌کردن ابزارها و ثابت نگه‌داشتن سیم‌ها همچنان دشوار بوده است. همین مسئله او را به فکر ساخت انگشتی اضافی انداخت که بتواند بدون اشغال دست‌های کاربر، اشیا را در جای خود نگه دارد.
طراحی مکانیکی و کنترل هوشمند انگشت اضافی
EgoThumb از یک انگشت رباتیک با سه مفصل تشکیل شده است که ساختار حرکتی آن تا حدی از شست انسان الگوبرداری می‌کند. برای حرکت‌دادن این مفاصل، از سازوکار تاندونی استفاده شده است؛ به این معنا که سیم‌های انعطاف‌پذیر با کشیده‌شدن، مفاصل را خم یا صاف می‌کنند. هر مفصل دو سیم مجزا دارد تا حرکت در هر دو جهت با کنترل فعال انجام شود.
یکی از نکات مهم طراحی، انتقال موتورهای محرک از روی دست به ساعد کاربر است. در بسیاری از انگشتان رباتیک پوشیدنی، قرارگرفتن موتور روی خود دست باعث افزایش وزن و دشوارشدن حرکت می‌شود. در EgoThumb، موتورها و سازوکار جمع‌کردن سیم‌ها در یک واحد جداگانه روی ساعد قرار گرفته‌اند و از طریق لوله‌های انعطاف‌پذیر به انگشت متصل می‌شوند. این طراحی وزن قطعات نصب‌شده روی دست را کاهش می‌دهد و امکان ساخت انگشتی جمع‌وجورتر را فراهم می‌کند.
سطح تماس انگشت رباتیک نیز با لایه‌ای از سیلیکون پوشانده شده است تا اصطکاک بیشتری ایجاد کند و اجسام هنگام نگه‌داشتن از دست آن سر نخورند. این مجموعه با بندهای قابل تنظیم روی دست و مچ ثابت می‌شود تا برای اندازه‌های مختلف دست قابل استفاده باشد.
بخش دیگر سامانه، دوربینی کوچک با میدان دید گسترده است که در نزدیکی کف دست نصب شده و به سمت انگشتان و محیط مقابل دست نگاه می‌کند. این دوربین به‌طور پیوسته تصویر دست، انگشت رباتیک و اشیای اطراف را ثبت می‌کند. سپس یک مدل هوش مصنوعی تصاویر را همراه با اطلاعات مربوط به وضعیت مفاصل انگشت رباتیک تحلیل می‌کند و حرکت بعدی را تعیین می‌کند.
پژوهشگران برای آموزش این مدل از روشی به نام «یادگیری تقلیدی» استفاده کرده‌اند. در مرحله‌ی آموزش، یک فرد با استفاده از رابطی که با پا کنترل می‌شود، حرکت انگشت رباتیک را هدایت می‌کند. سامانه تصاویر دوربین و موقعیت مفاصل را همراه با فرمان‌های اپراتور ثبت می‌کند تا الگوی مناسب برای گرفتن و رهاکردن اشیا را یاد بگیرد. پس از آموزش، دستگاه می‌تواند بر اساس تصاویر دوربین و وضعیت فعلی مفاصل، حرکت انگشت را پیش‌بینی کند و برای هر بار گرفتن یا رهاکردن جسم به فرمان مستقیم کاربر نیاز نداشته باشد.
البته نمونه‌ی اولیه هنوز کاملاً مستقل نیست. پردازش مدل هوش مصنوعی و محاسبه‌ی حرکت‌های بعدی روی یک کامپیوتر جداگانه انجام می‌شود که به دستگاه پوشیدنی متصل است. یک برد رزبری پای 3B+ نیز وظیفه‌ی کنترل موتورها و دریافت تصاویر دوربین را بر عهده دارد. بنابراین، در وضعیت فعلی بخشی از پردازش اصلی خارج از خود دستگاه انجام می‌شود.
آزمایش‌ها و میزان موفقیت سامانه
پژوهشگران عملکرد EgoThumb را در چهار فعالیت آزمایش کردند: برداشتن یک مکعب، بازکردن درِ بطری، هم‌زدن چای و انتقال یک توپ کوچک از داخل فنجان به ظرفی دیگر. در آزمایش بازکردن بطری، برای مثال، انگشت رباتیک بدنه‌ی بطری را ثابت نگه می‌دارد تا کاربر بتواند با انگشتان طبیعی خود درِ آن را بچرخاند. در آزمایش هم‌زدن چای نیز دستگاه فنجان را نگه می‌دارد و دست کاربر آزاد می‌ماند تا محتویات آن را هم بزند.
در ارزیابی اولیه، سه نفر از این سامانه استفاده کردند. میانگین موفقیت در چهار فعالیت برای فردی که داده‌های آموزشی را نیز با دست خود جمع‌آوری کرده بود، ۹۰ درصد به دست آمد. دو کاربر دیگر که دست آن‌ها در مرحله‌ی آموزش استفاده نشده بود، به‌ترتیب به نرخ موفقیت ۹۲٫۵ و ۸۷٫۵ درصد رسیدند. این نتایج نشان می‌دهد که دستگاه در شرایط آزمایش‌شده توانسته است با دست کاربران جدید نیز هماهنگ شود.
بااین‌حال، عملکرد سامانه در شرایط متنوع‌تر به یک اندازه پایدار نبود. وقتی پژوهشگران محل قرارگیری اشیا را به محدوده‌ای بزرگ‌تر از محدوده‌ی مورد استفاده در آموزش گسترش دادند، میانگین موفقیت در برداشتن مکعب همچنان ۱۰۰ درصد باقی ماند و در بازکردن درِ بطری به حدود ۷۳ درصد رسید. اما این میزان برای هم‌زدن چای به ۵۳ درصد و برای انتقال توپ به تنها ۱۷ درصد کاهش یافت. به‌ویژه انتقال توپ به برنامه‌ریزی حرکتی چندمرحله‌ای و هماهنگی دقیق‌تری نیاز داشت و همین موضوع عملکرد مدل را دشوارتر کرد.
در آزمایش دیگری، پژوهشگران توانایی دستگاه را در محیط‌هایی با پس‌زمینه‌های متفاوت بررسی کردند. مدل با استفاده از ۱۰۵ نمونه‌ی آموزشی جمع‌آوری‌شده در ۹ محیط مختلف آموزش دید. در دو محیطی که پیش‌تر در داده‌های آموزشی حضور داشتند، میانگین موفقیت کاربران در هم‌زدن چای به ۸۰ تا ۱۰۰ درصد رسید. در دو محیط جدید نیز این میزان بین ۶۷ تا ۷۳ درصد بود. نتایج نشان داد افزایش تنوع داده‌های آموزشی می‌تواند توانایی سامانه را برای کار در محیط‌های ناآشنا بهبود دهد.
با وجود نتایج امیدوارکننده، این نمونه هنوز محدودیت‌هایی دارد. حرکت سریع دست ممکن است باعث تاری تصاویر دوربین شود و عملکرد دستگاه در فعالیت‌های پرسرعت هنوز بررسی نشده است. همچنین دوربین نصب‌شده روی دست کمی بیرون‌زدگی دارد و ممکن است استفاده‌ی طولانی‌مدت از آن راحت نباشد. پژوهشگران می‌گویند زاویه‌های مختلف نزدیک‌شدن دست به اشیا نیز هنوز به‌طور کامل آزمایش نشده‌اند. از سوی دیگر، ارزیابی‌ها در هر وضعیت به تعداد محدودی تکرار متکی بوده‌اند و برای سنجش دقیق‌تر قابلیت اطمینان انگشت رباتیک، آزمایش‌های گسترده‌تری لازم است.
تیم تحقیقاتی قصد دارد در نسخه‌های بعدی، طراحی دستگاه را کوچک‌تر و پوشیدن آن را راحت‌تر کند. افزودن حسگرهای لمسی نیز از برنامه‌های آینده است؛ زیرا ترکیب اطلاعات بینایی با حس لامسه می‌تواند به انگشت رباتیک کمک کند تا میزان تماس با جسم و نیروی لازم برای نگه‌داشتن آن را بهتر تشخیص دهد.
در حال حاضر، طراحی سخت‌افزار و نرم‌افزار EgoThumb به‌صورت متن‌باز منتشر شده است تا دیگر پژوهشگران و توسعه‌دهندگان بتوانند آن را بررسی و توسعه دهند.
مقاله‌ی مرتبط: این مجری‌ها واقعی نیستند؛ ربات‌های انسان‌نما به استودیوی خبر می‌آیند
نتایج این پژوهش در مقاله‌ای با عنوان «EgoThumb: یک انگشت شست رباتیک اضافی مبتنی بر بینایی برای گرفتن و نگه‌داشتن خودکار اشیا» در مخزن پیش‌چاپ arXiv منتشر شده است. این طرح هنوز در مرحله‌ی نمونه‌ی آزمایشگاهی قرار دارد و برای تبدیل‌شدن به یک ابزار پوشیدنی کاربردی، به بررسی‌های بیشتر در زمینه‌ی راحتی استفاده، سرعت واکنش و عملکرد در شرایط متنوع نیاز دارد.