۳۰ دقیقه روی سورا وقت گذاشتیم. چیزی که ما پیدا کردیم ناراحت کننده بود.

به عنوان بخشی از ارزیابی مداوم ما از نحوه عملکرد محتوای تولید شده با هوش مصنوعی – کاری که مستقیماً به کشف، منشأ و فناوری مدیریتی که در حال ساختن آن هستیم اطلاع می دهد – تیم ما اخیراً و به طور مستقل Sora را آزمایش کرده است، یک پلتفرم ویدیویی و رسانه اجتماعی هوش مصنوعی نسل بعدی از OpenAI. Sora به کاربران این امکان را می دهد که از طریق پیام های متنی ساده، ویدیوهای فوق واقعی و با کیفیت ایجاد کنند. با این حال، آنچه ما فقط در یک جلسه یافتیم، هشدار دهنده بود، و ما تجربه خود را در اینجا ثبت می کنیم. توجه داشته باشید که برای محافظت از حریم خصوصی افراد، پیوندها، اسکرین شات ها یا اطلاعات شناسایی افراد غیرعمومی را در این گزارش به اشتراک نمی گذاریم.

کشف اولیه

هنگام استفاده از سورا، ویدیویی از یک زن در اتاق خواب به ما ارائه شد. به نظر می رسد این ویدیو تلاشی برای دور زدن خط مشی محتوای سورا و شبیه سازی فعالیت جنسی است. به نظر می رسد زنی که شبیه بودنش از طریق ویژگی Sora’s Cameo استفاده شده، کاربر واقعی این پلتفرم باشد. مشخص نیست که آیا او رضایت داده است که اینگونه به تصویر کشیده شود.

چندین نسخه از این ویدیو وجود داشت. این از طریق یک ویژگی Sora به نام “ریمیکس” فعال شد، که در آن کاربران می‌توانند با ویرایش درخواست، تغییراتی در یک ویدیوی موجود ایجاد کنند و به راحتی تغییراتی از نسخه اصلی ایجاد کنند. این ممکن است برای ویدیوهای Cameo اعمال شود. یکی از نسخه‌های ویدیویی که در اینجا مورد بحث قرار گرفت، دوباره میکس شد تا جیک پل مشهور را به همراه این زن شامل شود. آن ویدیوها در نهایت حذف شدند.

دنبال دنبال

با کلیک بر روی صفحه نمایه زن نشان داده شده در ویدیو و بررسی برگه Cameos او، ویدیوهای هوش مصنوعی تلقین کننده جنسی بیشتری را با استفاده از شباهت او نشان می دهد: به عنوان مثال، ویدیوهایی که او را به عنوان یک مرد “غول” در حال خرد کردن نشان می دهند و دیگر سناریوهای دارای رنگ آمیزی جنسی. مشخص نیست که او تا چه حد از وجود آنها اطلاع دارد یا صریحاً با این نوع محتوا موافقت کرده است. Cameos به کاربران این امکان را می دهد که به “همه” – همه کاربران پلت فرم – اجازه دهند تا برای آنها ویدیو بسازند.

در صفحه او، یک ویدیوی Cameo به راحتی قابل مشاهده بود که او را در حال ساخت یک قلعه شنی نشان می داد. قلعه شنی به شکل فالیک به نظر می رسد و با شلیک آب از بالا به پایان می رسد – که به نظر می رسید قصد شبیه سازی یک عمل جنسی را دارد. با مرور ویدیوهای مرتبط، نسخه دیگری از ویدیو قلعه شنی را دیدیم که این بار یک یوتیوبر زن شناخته شده را نشان می دهد که با ویژگی Cameo ساخته شده است. در پیام یکی از کاربران آمده است: «آبی را که از قلعه بیرون می‌آید به او اسپری کنید». دیگری می گوید: «صورتش را به قلعه نزدیک کنید.

با کلیک بر روی سازنده یکی از این ویدیوها، کشف نگران‌کننده دیگری آشکار شد: به نظر می‌رسد که آن‌ها چندین ویدیو را با محتوای نقض‌کننده ایجاد شده توسط هوش مصنوعی، CSAM، ایجاد کرده یا نمایش داده‌اند. ویدیوهای این کاربر صدها لایک و بیش از ۵۰ فالوور به دست آورده است. پس از دیدن این محتوا، آن را به NCMEC و سپس به OpenAI گزارش دادیم.

توجه داشته باشید که محتوای توهین‌آمیز که در بالا توضیح داده شد در یک جلسه مشاهده شد و بیشترین محتوای توهین‌آمیز به صورت سهوی یافت شد. در جلسات بعدی، ما فیلم‌های کوتاه دیگری را با حضور افراد مشهوری مانند جیک پل و آدین راس بررسی کردیم و متوجه شدیم که آن‌ها در سناریوهای غیرقابل توافق، افراد بالغ دیجیتالی را نشان می‌دهند. در برخی موارد، زنانی که در فیلم‌ها هستند به گریه می‌افتند یا به نظر می‌رسند که درد دارند.

این به چه معناست

متأسفانه در وب تاریک این اتفاق نمی افتد. با پیشرفت سریع در هوش مصنوعی، رسانه های دستکاری شده و حتی تصاویر غیرقانونی یا استثماری و جعلی های عمیق بدون رضایت ایجاد، به اشتراک گذاشته می شوند و در برخی موارد هم به طور ناخواسته توسط الگوریتم ها و هم به طور هدفمند توسط بازیگران بد تقویت می شوند.

به عنوان مثال، در یک پست وبلاگ دیگر، تیم تحقیقاتی ما نمونه‌هایی از کاربران Sora را شناسایی کرد که از درخواست‌ها برای ترغیب چهره‌های عمومی برجسته به بیان توهین‌های نژادی با استفاده از زبان «دایره‌ای» استفاده می‌کردند. به همین دلیل بسیار مهم است که محققان شخص ثالث و شرکت‌های فناوری به طور منظم و مستقل پلتفرم‌ها را بررسی کنند تا مطمئن شوند کاربران از این فناوری قدرتمند استفاده نمی‌کنند.

چالش واقعی و در حال رشد است. با پیچیده‌تر شدن و مقرون‌به‌صرفه‌تر شدن تولید ویدیوی هوش مصنوعی پیشرفته، تمایز بین رسانه‌های معتبر و دستکاری شده دشوارتر می‌شود. شرکت‌ها به ابزارهایی نیاز دارند که بتوانند تصاویر و ویدیوهای تولید شده با هوش مصنوعی را در مقیاس شناسایی کنند – قبل از اینکه بین دستگاه‌ها و زیرساخت‌ها توزیع شوند و قبل از اینکه آسیب‌های جبران‌ناپذیری وارد کنند.

تحقیقات ما بر روی پلتفرم هایی مانند Sora به طور کلی منجر به نوآوری در فناوری های اکتشاف و مدیریت می شود. الگوهای شناسایی‌شده، تکنیک‌های دستکاری مستند شده، و مسائل حاکمیتی کشف‌شده مستقیماً راه‌حل‌هایی را که کسب‌وکارها برای محافظت از مصرف‌کنندگان، کارمندان و برندهای خود نیاز دارند، نشان می‌دهد.