حاشیه نویسی ژست دست فرآیند برچسب زدن نحوه حرکت دست و انگشتان آن در هر فریم از یک ویدیو است تا ربات ها بتوانند دستکاری های ماهرانه و شبیه انسان را بیاموزند. ربات های امروزی می توانند راه بروند، غلت بزنند و جعبه را بگیرند. چیزی که آنها هنوز با آن دست و پنجه نرم می کنند چیزهای کوچکی است – بستن دکمه پیراهن، نخ کابل کشیدن، چیدن انگور بدون له کردن. در Shaip، ما هر روز این را می بینیم: بخش سخت هوش مصنوعی فیزیکی آموزش حرکت به روبات نیست، بلکه آموزش دست هایش است من رفتار می کنم. و این به کیفیت داده های ژست دست در پشت آن می رسد.
این پست به طور خاص در مورد دست است. اگر ابتدا تصویر بزرگتری را میخواهید، با راهنمای ما برای آموزش دادههای ربات و مجموعه دادههای دستکاری شروع کنید – این فصل مهارت در این داستان است.
چرا مهارت در دستکاری ربات ها گلوگاه واقعی است؟
زبردستی یک گلوگاه است زیرا حرکت درشت تا حد زیادی حل می شود، اما کنترل دقیق انگشت اینطور نیست. به یک ربات می توان یاد داد که به یک گیره دست یابد و ببندد. آموزش چرخاندن خودکار بین دو انگشت یا گرفتن مجدد پیچ گوشتی در حین کار یک چالش متفاوت است – و این کاملاً به داده هایی بستگی دارد که نحوه حرکت انگشتان را نشان می دهد.
در اینجا روش ساده ای است که ما آن را به مشتریان توضیح می دهیم:
- حرکت و برخورد خشن – بیشتر کار می کند. داده های زیادی وجود دارد.
- دستکاری ظریف با چندین انگشت – بیشتر کار نمی کند. داده ها تقریباً وجود ندارند.
- شکاف – نمونه های آموزشی که آنها ضبط می کنند هر انگشت چه کاری انجام می دهد، به چه ترتیبی و چه زمانی به جسم برخورد کرده است.
خط آخر دقیقاً همان چیزی است که حاشیه نویسی ژست دست ایجاد می کند. بدون آن، یک ربات می تواند بند کفش را تشخیص دهد اما نمی داند چگونه آن را ببندد.
حاشیه نویسی ژست دست دقیقاً چیست؟
حاشیه نویسی حالت دست شکلی از حاشیه نویسی نقطه کلیدی است که در آن مفاصل دست – بند انگشتان، قسمت های انگشتان، نوک انگشتان و مچ دست – در هر فریم از یک گیره علامت گذاری و ردیابی می شوند. این یک ویدیوی دستی ساده را به یک ضبط حرکتی تمیز و ساختار یافته تبدیل می کند که مدل می تواند از آن یاد بگیرد.
در عمل، تیم های ما چهار چیز را در هر دست برچسب گذاری می کنند:
- اسکلت دست – مجموعه ای ثابت از نقاط در سراسر انگشتان و مچ دست (معمولاً یک طرح ۲۰ نقطه به اضافه).
- حرکت مشترک – چگونه این نقاط هنگام باز شدن کار خم می شوند و می چرخند.
- حرکت در زمان – یک مسیر صاف برای هر نقطه از اولین فریم تا آخرین، نه فقط عکس های فوری جدا شده.
- لحظات تماس – فریم های دقیقی که انگشت یک شی را لمس می کند، می گیرد یا می اندازد.
این عنصر چهارم جایی است که مهارت در آن زندگی می کند. هر کسی میتواند محل دست را مشخص کند. ارزش در گرفتن است چگونه و در چه زمانی.
حاشیه نویسی مهارت چه تفاوتی با حاشیه نویسی نقطه کلید استاندارد دارد؟
حاشیه نویسی مهارت یک حاشیه نویسی نقطه کلیدی است که در یک نوار بسیار بالاتر نگه داشته می شود. کار نقطه کلیدی استاندارد پاسخ می دهد “دست کجاست؟” حاشیه نویسی مهارت پاسخ می دهد “هر انگشت چه کار کرد، به چه ترتیبی و چه زمانی تماس برقرار کرد؟” – که تنها نسخه ای است که مدل دستکاری می تواند در آن آموزش ببیند.
تفاوت در کنار هم آشکارتر است:
ستون سمت راست چیزی است که ما در Shaip می سازیم زیرا تنها ستونی است که یک ربات ماهر می تواند از آن بیاموزد.
چگونه حاشیه نویسی ژست دست، ویدیوی انسانی را به مهارت روبات تبدیل می کند؟
حاشیه نویسی ژست دست پلی بین ویدیوهای ارزان قیمت انسانی و دموهای گران قیمت ربات است. نقشه برداری مجدد مرحله ای است که حرکات برچسب گذاری شده دست انسان را بر روی دست ربات ترسیم می کند، به طوری که نمایش انسان به چیزی تبدیل می شود که ربات می تواند آن را کپی کند. گرفتن افراد آسان و مقیاس پذیر است. فیلمبرداری تظاهرات ربات واقعی کند و پرهزینه است – بنابراین راه هوشمند این است که ربات ها را از ما آموزش دهیم.
جریانی که ما برای مشتریان اجرا می کنیم به این صورت است:
- ضبط کنید – فیلم اول شخص (“آنچه دستان من می بینند”) از شخصی که یک کار را انجام می دهد ضبط کنید.
- حاشیه نویسی کنید – ژست دست را در هر فریم علامت بزنید تا حرکت کامل انگشت بازگردد.
- تغییر مسیر – این حرکت را روی بازوی ربات ترسیم کنید تا بتواند عمل را بازتولید کند.
یک مثال مفید: برای آموزش شکستن تخم مرغ به یک غذاساز، برای تمرین به هزاران ربات نیاز ندارید. شما به یک ویدیوی تمیز و با حاشیهنویسی خوب از افراد در حال شکستن تخممرغ نیاز دارید – حاشیهنویسی چیزی است که این فیلم را قابل آموزش میکند.
داده های دستکاری چابک در کجا استفاده می شود؟
دادههای مهارت در هر جایی که یک ماشین نیاز به تعامل دقیق با دنیای فیزیکی داشته باشد، مرتبط است. این قسمتی است که اکثر بررسی ها از آن غافل می شوند، بنابراین باید مشخص باشد. فیدهای مشروح وضعیت بدن و مهارت:
موضوع مشترک: همه آنها بدون داده های آموزشی که حرکات ظریف انگشت را ثبت می کند، شکست می خورند. این نیازی است که شیپ با حرکت، حالت و مهارت خود ایجاد کرده است.
داده های مهارت چقدر باید بزرگ باشد – و چقدر خوب؟
مقیاس مهم است، اما کیفیت مهم تر است. برای در نظر گرفتن مقیاس، مجموعه قابل توجهی از داده های تحقیق گردآوری شد که در سال ۲۰۲۵ منتشر شد ۸۲۹ ساعت فیلم دستکاری اول شخص با ردیابی دست جفتی در ۱۹۴ کار روزانه – توسط نویسندگان آن به عنوان بزرگترین مجموعه داده مهارت در نوع خود توصیف شده است (تحقیقات یادگیری ماشین اپل، ۲۰۲۵). این مسیری است که میدان به آن سمت میرود: بزرگ، با برچسبهای غنی، چند وظیفهای.
اما حجم به تنهایی یک ربات خوب را تربیت نمی کند. در تجربه ما در Shaip، بیشتر خطاهای مهارت از این موضوع سرچشمه می گیرد کیفیت برچسب، اندازه داده نیست. مشکلات سخت عملا عبارتند از:
- انگشتان پنهان – دست ها دائماً خود و اشیایی را که در دست دارند می پوشانند.
- شباهت انگشتان – به راحتی می توان یک انگشت را به عنوان همسایه اش اشتباه کرد.
- حرکت سریع – حرکات سریع عکس هایی را که بیشترین اهمیت را دارند محو می کند.
- توالی در زمان – یک تگ مشترک ناپایدار می تواند یک توالی کامل از حرکات را خراب کند.
به همین دلیل است که هر پروژه مهارتی در Shaip از طریق تیمهای آموزش دیده با افراد در حلقه و یک فرآیند کیفیت چند مرحلهای – اعتبار گذر اول، کالیبراسیون در برابر مجموعه استاندارد طلایی، و بررسی نسخه نهایی – با توافق حاشیهنویس و آستانههای پذیرش ویژه کار تعریف شده برای هر پروژه انجام میشود. داده های پاک ارزان تر از روباتی است که حرکت اشتباه را یاد گرفته است.
چگونه Shaip کمک می کند
در Shaip، ما کل سفر را مدیریت میکنیم، از جمعآوری ویدیوهای نمایشی اول شخص و انسانی، تا ژست دقیق دست و برچسبگذاری مهارت، تا دادههای آماده فید برای تیم شما برای آموزش. همه اینها تحت امنیت سازمانی (ISO 27001 و SOC 2 Type II) توسط نیروی کار مدیریت شده و بررسی شده ارائه می شود.
راهحلهای داده ما را برای آموزش هوش مصنوعی فیزیکی کاوش کنید، ببینید چگونه جمعآوری دادههای ویدئویی خود محور را برای فیلم اول شخص انجام میدهیم که دادههای مهارت از آن شروع میشود، یا راهنمای همراه ما را در مورد اینکه مجموعه دادههای خود محور چیست بخوانید.
