پیشرفت برای تاثیر در هر مقیاس

ما با کار گسترده روی الگوریتم‌ها، کارایی، داده‌ها و حریم خصوصی، پیشرفت زیادی در اصول یادگیری ماشین داشته‌ایم. ما عملکرد یادگیری ماشینی را از طریق تکنیک‌های پیشگامی که زمان خروجی LLM را کاهش می‌دهد، که در محصولات Google پیاده‌سازی و در سراسر صنعت به کار گرفته شد، بهبود دادیم. تحقیقات ما روی آبشارها روشی را برای استفاده از مدل‌های کوچک‌تر برای خروجی‌های «آسان» ارائه می‌کند، در حالی که الگوریتم رمزگشایی گمانه‌زنی جدید ما چندین توکن را به‌طور موازی محاسبه می‌کند و سرعت تولید خروجی را ~ ۲x-3x افزایش می‌دهد بدون اینکه بر کیفیت تأثیر بگذارد. در نتیجه، LLMهایی که محصولات محاوره ای را تقویت می کنند، می توانند به طور قابل توجهی سریعتر پاسخ دهند. این معادل یک تجربه کاربری بسیار بهبود یافته است و هوش مصنوعی را از نظر محاسباتی و انرژی کارآمدتر می کند. ما بر روی این کار با اصلاح پیش نویس و تصحیح بلوک می سازیم. ما همچنین راه‌های جدیدی را برای بهبود قابلیت‌های استدلال LLM از طریق نشانه‌های مکث بررسی کرده‌ایم – افزایش قدرت استدلال می‌تواند مدل‌های کوچک‌تر را قدرتمندتر کند و در نتیجه کارایی قابل‌توجهی داشته باشد. ما کارایی الگوریتمی ترانسفورماتورها را بررسی کردیم و PolySketchFormer، HyperAttention و Selective Attention، سه مکانیسم توجه جدید را برای رسیدگی به چالش‌های محاسباتی و مشکلات پیاده‌سازی مدل‌های زبان و بهبود کیفیت مدل طراحی کردیم.

تیم‌های ما پیشرفت‌های مهم دیگری از جمله مطالعه الگوریتم‌های تعویق چند متخصص اصولی و یک الگوریتم تعویق راه‌اندازی دو مرحله‌ای عمومی داشته‌اند. الگوریتم آموزش شبیه سازی RL ما برای بهینه سازی کامپایلر منجر به صرفه جویی قابل توجهی و کاهش اندازه فایل باینری شد. مطالعه ما در مورد یادگیری تقویتی چند هدفه از بازخورد انسانی، چارچوب خط مشی زبان مشروط، راه حلی اصولی با یک مبادله کلیدی بین کیفیت و واقعیت و صرفه جویی قابل توجه محاسباتی ارائه کرد. و کار بر روی یادگیری در زمینه مکانیزمی برای آموزش نمونه کارآمد برای وظایف بازیابی پراکنده فراهم کرده است.

داده یکی دیگر از اجزای سازنده مهم برای یادگیری ماشین است. برای حمایت از تحقیقات ML در سراسر اکوسیستم، مجموعه داده‌های مختلفی را منتشر کرده‌ایم و به آن کمک کرده‌ایم. به عنوان مثال، کروسانت یک قالب ابرداده است که برای نیازهای خاص داده های یادگیری ماشینی طراحی شده است که ما با همکاری صنعت و دانشگاه توسعه داده ایم. ما نمونه‌گیری حساسیت را توسعه دادیم، یک تکنیک نمونه‌گیری داده‌ها برای مدل‌های بنیادی، و ثابت کردیم که این یک استراتژی نمونه‌گیری داده بهینه برای مسائل کلاسیک خوشه‌بندی است. ک– یعنی ما تحقیقات خود را در الگوریتم‌های خوشه‌بندی مقیاس‌پذیر پیشرفته کردیم و یک کتابخانه خوشه‌بندی گراف موازی منبع باز را توسعه دادیم که نتایج پیشرفته‌ای را برای میلیاردها لبه گراف در یک ماشین ارائه می‌دهد. تکثیر سریع مدل‌های یادگیری ماشین مخصوص دامنه، یک چالش کلیدی را برجسته می‌کند: در حالی که این مدل‌ها در حوزه‌های مربوطه خود برتر هستند، عملکرد آنها اغلب در بین برنامه‌ها بسیار متفاوت است. برای پرداختن به این موضوع، تحقیق ما یک الگوریتم اصولی را با قالب بندی مسئله به عنوان یک کار تطبیق دامنه چند منبعی ایجاد کرد.

Google Research عمیقاً به تحقیقات حفظ حریم خصوصی متعهد است و سهم قابل توجهی در این زمینه داشته است. کار ما بر روی یادگیری مدل خصوصی متمایز، اهمیت تجزیه و تحلیل دقیق و اجرای الگوریتم‌های یادگیری ماشینی حفظ حریم خصوصی را برای اطمینان از حفاظت قوی از داده‌های کاربر برجسته می‌کند. ما این تجزیه و تحلیل‌ها را با الگوریتم‌های آموزشی کارآمدتر و روش‌های جدید برای ممیزی استقرارهایی که به روی جامعه باز می‌کنیم تکمیل کرده‌ایم. در تحقیق خود در مورد یادگیری از داده‌های انبوه، رویکرد جدیدی را برای ساخت مجموعه داده‌های انبوه معرفی کردیم و جنبه‌های الگوریتمی مختلف مدل‌های یادگیری را از داده‌های انباشته بررسی کردیم که به سطوح خوش‌بینانه‌ای از پیچیدگی نمونه‌گیری در این تنظیمات دست یافت. ما همچنین روش‌های جدیدی را برای تولید داده‌های مصنوعی خصوصی متفاوت طراحی کردیم – داده‌هایی که مصنوعی هستند و از حریم خصوصی محافظت می‌کنند و در عین حال ویژگی‌های مورد نیاز برای آموزش مدل‌های پیش‌بینی را دارند.

همانطور که ما مرزهای آنچه را که می توان در بهینه سازی محاسباتی به دست آورد، فشار می دهیم، پیامدهای مهمی برای اقتصاد جهانی وجود دارد. برنامه نویسی خطی (LP) را در نظر بگیرید، یک روش اساسی علوم کامپیوتری است که به تصمیم گیری مبتنی بر داده اطلاع می دهد و کاربردهای زیادی در زمینه هایی مانند تولید و حمل و نقل دارد. ما PDLP را معرفی کردیم که به حافظه کمتری نیاز دارد، با تکنیک‌های محاسباتی مدرن سازگارتر است و حل‌پذیری LP را تا حد زیادی افزایش می‌دهد. جایزه معتبر Beale — Orchard-Hays را دریافت کرد و اکنون به عنوان بخشی از ابزار منبع باز OR Google در دسترس است. ما API طراحی شبکه تحویل خود را، یک نمونه عالی از استفاده از PDLP، برای بهینه‌سازی حمل‌ونقل کالا اعلام کردیم. این امکان راه حل های سبزتر و مقرون به صرفه را برای چالش های زنجیره تامین فراهم می کند، با پتانسیل شبکه های حمل و نقل برای تحویل ۱۳٪ کانتینر بیشتر با ۱۵٪ کشتی های کمتر. ما همچنین Times-FM را برای پیش‌بینی دقیق‌تر سری‌های زمانی معرفی کردیم، نوع گسترده‌ای از پیش‌بینی که در حوزه‌هایی مانند خرده‌فروشی، تولید و مالی استفاده می‌شود. این مدل پایه فقط رمزگشا بر روی ۱۰۰ میلیارد نقطه زمانی در دنیای واقعی از قبل آموزش داده شده بود و عمدتاً از داده‌های Google Trends و بازدیدهای صفحه ویکی‌پدیا استفاده می‌کرد و حتی از مدل‌های یادگیری عمیق قدرتمندی که در سری‌های زمانی هدف آموزش داده شده بودند نیز بهتر عمل کرد.