RL بدون آموزش TD – وبلاگ تحقیقاتی هوش مصنوعی برکلی

نویسنده اصلیفوریه 16, 2026آخرین به روز رسانی: فوریه 16, 2026

خواندن این مطلب 8 دقیقه زمان میبرد

در این پست، من یک الگوریتم یادگیری تقویتی (RL) را بر اساس یک پارادایم “جایگزین” ارائه خواهم کرد: تقسیم کن و غلبه کن. برخلاف روش های سنتی، این الگوریتم است نه بر اساس یادگیری تفاوت زمانی (TD) (که دارای چالش های مقیاس پذیری است) و به خوبی در کارهای افق بلند مقیاس می شود.

ما می توانیم آموزش تقویتی (RL) را بر اساس تقسیم و حکومت به جای آموزش تفاوت زمانی (TD) انجام دهیم.

راه اندازی مشکل: RL خارج از قوانین

تنظیم مشکل ما این است خارج از خط مشی RL. بیایید به طور خلاصه مرور کنیم که این به چه معناست.

در RL دو دسته از الگوریتم ها وجود دارد: RL روی خط مشی و RL خارج از خط مشی. RL با قوانین یعنی ما می توانیم فقط از داده های تازه جمع آوری شده از این خط مشی استفاده کنید. به عبارت دیگر، هر بار که خط‌مشی را به‌روزرسانی می‌کنیم، باید داده‌های قدیمی را کنار بگذاریم. الگوریتم هایی مانند PPO و GRPO (و به طور کلی روش های گرادیان خط مشی) به این دسته تعلق دارند.

خارج از قوانین RL به این معنی است که ما این محدودیت را نداریم: می توانیم استفاده کنیم هر نوع نوع داده‌ها شامل تجربه گذشته، دموهای انسانی، داده‌های اینترنتی و غیره. بنابراین RL غیرقانونی عمومی‌تر و انعطاف‌پذیرتر از RL مبتنی بر قوانین است (و البته سخت‌تر!). Q-learning معروف ترین الگوریتم RL خارج از سیاست است. در حوزه هایی که جمع آوری داده ها گران است (به عنوان مثال، رباتیکسیستم های گفتگو، مراقبت های بهداشتی و غیره)، ما اغلب چاره ای جز استفاده از RL خارج از قوانین نداریم. به همین دلیل این موضوع بسیار مهم است.

از سال ۲۰۲۵، من فکر می کنم دستور العمل های نسبتا خوبی برای افزایش RL مطابق با قوانین داریم (به عنوان مثالPPO، GRPO و انواع آنها). با این حال، ما هنوز یک “مقیاس پذیر” پیدا نکرده ایم خارج از خط مشی RL الگوریتمی که برای کارهای پیچیده و دراز مدت به خوبی مقیاس می شود. اجازه دهید به طور خلاصه توضیح دهم که چرا.

دو پارادایم در یادگیری ارزشی: تفاوت زمانی (TD) و مونت کارلو (MC)

در RL خارج از خط مشی، ما معمولاً یک تابع مقدار را با استفاده از آموزش تفاوت زمانی (TD) آموزش می دهیم.یعنیQ-learning)، با قانون به روز رسانی بلمن زیر:

\[\begin{aligned} Q(s, a) \gets r + \gamma \max_{a’} Q(s’, a’), \end{aligned}\]

مشکل اینجاست: خطای مقدار بعدی $Q(s’, a’)$ با راه اندازی به مقدار فعلی $Q(s, a)$ منتشر می شود و این خطاها انباشته شدن در سراسر افق این اساساً همان چیزی است که باعث می‌شود یادگیری TD برای انجام کارهای بلندمدت با مشکل مواجه شود (اگر به جزئیات بیشتر علاقه دارید این پست را ببینید).

برای کاهش این مشکل، مردم یادگیری TD را با بازگشت مونت کارلو (MC) مخلوط کرده اند. برای مثال، می‌توانیم آموزش $n$-step TD را انجام دهیم (TD-$n$):

\[\begin{aligned} Q(s_t, a_t) \gets \sum_{i=0}^{n-1} \gamma^i r_{t+i} + \gamma^n \max_{a’} Q(s_{t+n}, a’). \end{aligned}\]

در اینجا، ما از بازگشت واقعی مونت کارلو (از مجموعه داده ها) برای اولین مراحل $n$ استفاده می کنیم و سپس از مقدار اولیه برای بقیه افق استفاده می کنیم. به این ترتیب می‌توانیم تعداد بازگشت‌های بلمن را n$ برابر کاهش دهیم تا خطاها کمتر جمع شوند. در حالت شدید $n = \infty$، ما یکسان سازی خالص مونت کارلو را بازیابی می کنیم.

همچنین ببینید : NFL در تلاش برای حفظ سلامت بازیکنان از هوش مصنوعی برای پیش بینی آسیب ها استفاده می کند

در حالی که این یک راه حل معقول است (و اغلب به خوبی کار می کند)، بسیار رضایت بخش است. اولاً اینطور نیست اساسا حل مشکل انباشت خطا؛ این فقط تعداد بازگشت های بلمن را با یک عامل ثابت ($n$) کاهش می دهد. دوم، با افزایش $n$، ما از واریانس بالا و زیر بهینه بودن رنج می بریم. بنابراین نمی‌توانیم $n$ را روی یک مقدار بزرگ تنظیم کنیم و باید آن را با دقت برای هر کار تنظیم کنیم.

آیا روش اساسی متفاوتی برای حل این مشکل وجود دارد؟

پارادایم “سومین”: تفرقه بینداز و غلبه کن

ادعای من این است که الف سوم پارادایم در یادگیری ارزشی، تقسیم کن و غلبه کنمی‌تواند یک راه‌حل ایده‌آل RL بدون سیاست ارائه کند که به وظایف خودسرانه افق طولانی مقیاس می‌رسد.

Divide and Conquer تعداد بازگشت های بلمن را به صورت لگاریتمی کاهش می دهد.

ایده کلیدی Divide and Conquer این است که یک مسیر را به دو بخش با طول مساوی تقسیم کنیم و مقادیر آنها را برای به روز رسانی مقدار مسیر کامل ترکیب کنیم. به این ترتیب می‌توانیم (در تئوری) تعداد بازگشت‌های بلمن را کاهش دهیم لگاریتمی (خطی نیست!). همچنین نیازی به انتخاب یک فراپارامتر مانند $n$ ندارد و بر خلاف یادگیری $n$-step TD لزوماً از واریانس بالا یا زیربهینه بودن رنج نمی برد.

از نظر مفهومی، تفرقه و غلبه واقعاً تمام ویژگی‌های خوبی را دارد که ما در یادگیری ارزش می‌خواهیم. بنابراین من برای مدت طولانی در مورد این ایده سطح بالا هیجان زده بودم. مشکل این بود که نحوه انجام این کار در عمل مشخص نبود… تا همین اواخر.

یک الگوریتم کاربردی

در کار اخیر با همکاری Aditya، پیشرفت قابل توجهی در جهت تحقق و گسترش این ایده داشته ایم. به طور خاص، ما توانسته‌ایم یادگیری ارزش را تقسیم کن و حکومت کن را به وظایف بسیار پیچیده (تا جایی که من می‌دانم، این اولین کار از این دست است!) در حداقل یک کلاس مهم از مسائل RL، مقیاس کنیم. RL شرطی شده هدف. هدف RL مبتنی بر هدف یادگیری سیاستی است که می تواند به هر ایالتی از هر ایالت دیگر برسد. این یک ساختار طبیعی تقسیم کن و حکومت کن را فراهم می کند. بگذارید این را توضیح دهم.

ساختار به شرح زیر است. اجازه دهید ابتدا فرض کنیم که دینامیک قطعی است و کوتاه‌ترین فاصله مسیر (“فاصله زمانی”) بین دو حالت $s$ و $g$ را به صورت $d^*(s, g)$ نشان می‌دهیم. سپس نابرابری مثلث را برآورده می کند:

\[\begin{aligned} d^*(s, g) \leq d^*(s, w) + d^*(w, g) \end{aligned}\]

برای همه $s، g، w \in \mathcal{S}$.

از نظر مقادیر، می‌توانیم این نابرابری مثلث را به شکل زیر ترجمه کنیم “انتقالی” قانون به روز رسانی بلمن:

\[\begin{aligned}
V(s, g) \gets \begin{cases}
\gamma^0 & \text{if } s = g, \\\\
\gamma^1 & \text{if } (s, g) \in \mathcal{E}, \\\\
\max_{w \in \mathcal{S}} V(s, w)V(w, g) & \text{otherwise}
\end{cases}
\end{aligned}\]

که $\mathcal{E}$ مجموعه یال‌ها در نمودار انتقال محیط است و $V$ تابع مقدار مربوط به پاداش پراکنده $r(s, g) = 1(s = g)$ است. شهودییعنی، می‌توانیم مقدار $V(s, g)$ را با استفاده از دو مقدار «کوچک‌تر» به‌روزرسانی کنیم: $V(s, w)$ و $V(w, g)$، مشروط بر اینکه $w$ «نقطه میانی» (فرعی) بهینه کوتاه‌ترین مسیر باشد. این دقیقاً همان قانون به روز رسانی ارزش تقسیم کن و حکومت کن است که ما به دنبال آن بودیم!

همچنین ببینید : چگونه مسیر بعید این بنیانگذار به سیلیکون ولی می تواند به یک مزیت در فناوری صنعتی تبدیل شود

مشکل

با این حال، اینجا یک مشکل وجود دارد. نکته اینجاست که نحوه انتخاب زیرهدف بهینه $w$ در عمل مشخص نیست. در تنظیمات جدولی، ما به سادگی می‌توانیم همه حالت‌ها را برای یافتن $w$ بهینه برشماریم (این اساساً الگوریتم کوتاه‌ترین مسیر فلوید-وارشال است). اما در محیط های پیوسته با فضاهای حالت بزرگ، نمی توانیم این کار را انجام دهیم. اساساً، به همین دلیل است که کارهای قبلی برای گسترش یادگیری ارزش تقسیم کن و غلبه کرده اند، حتی با وجود اینکه این ایده برای چندین دهه وجود داشته است (در واقع، به اولین کار در RL مبتنی بر هدف توسط Kaebling (1993) برمی گردد – برای بحث بیشتر در مورد کارهای مرتبط به مقاله ما مراجعه کنید). سهم اصلی کار ما حل عملی این مشکل است.

راه حل

ایده اصلی ما اینجاست: ما محدود کردن فضای جستجوی $w$ برای حالت هایی که در مجموعه داده ظاهر می شوند، به ویژه آنهایی که بین $s$ و $g$ در مسیر مجموعه داده قرار دارند. همچنین، به جای جستجوی $\text{argmax}_w$ بهینه، یک $\text{argmax}$ “نرم” را با استفاده از رگرسیون مورد انتظار محاسبه می‌کنیم. یعنی ضررهای زیر را به حداقل می رسانیم:

\[\begin{aligned} \mathbb{E}\left[\ell^2_\kappa (V(s_i, s_j) – \bar{V}(s_i, s_k) \bar{V}(s_k, s_j))\right]\end{تراز شده}\]

که در آن $\bar{V}$ شبکه مقدار هدف است، $\ell^2_\kappa$ ضرر مورد انتظار با $\kappa$ مورد انتظار است، و انتظار برای همه دسته‌های $(s_i، s_k، s_j)$ با $i \leq k \leq j$ در مسیری از یک مجموعه داده نمونه‌برداری تصادفی گرفته می‌شود.

این دو مزیت دارد. اول، ما نیازی به جستجوی کل فضای حالت نداریم. دوم، با استفاده از رگرسیون مورد انتظار «نرم‌تر» به جای آن از تخمین بیش از حد توسط عملگر $\max$ جلوگیری می‌کنیم. ما به این الگوریتم می گوییم انتقال RL (TRL). برای جزئیات بیشتر و بحث های بیشتر به سند ما مراجعه کنید!

آیا خوب کار می کند؟

پیچ و خم انسان نما

پازل

برای اینکه ببینیم آیا روش ما در کارهای پیچیده به خوبی مقیاس می‌شود، ما مستقیماً TRL را در برخی از چالش‌برانگیزترین وظایف در OGBench، یک معیار RL هدف محور آفلاین ارزیابی کردیم. ما عمدتاً از سخت ترین نسخه های پیچ و خم انسان نما و وظایف پازل با مجموعه داده های بزرگ با اندازه ۱B استفاده کردیم. این وظایف بسیار چالش برانگیز هستند: آنها نیاز به انجام مهارت های ترکیبی پیچیده دارند ۳۰۰۰ قدم در محیط.

TRL بهترین عملکرد را در کارهای بسیار چالش برانگیز با افق طولانی به دست می آورد.

نتایج بسیار هیجان انگیز است! در مقایسه با خطوط پایه بسیار قوی در دسته‌های مختلف (TD، MC، یادگیری شبه متریک، و غیره)، TRL بهترین عملکرد را در اکثر وظایف به دست می‌آورد.

TRL مربوط به بهترین TD-$n$ تنظیم شده به صورت جداگانه است، بدون نیاز به تنظیم $\boldsymbol{n}$.

همچنین ببینید : باج افزار بی پایان توسط لوسی کاردیت

این طرح مورد علاقه من است. ما TRL را با آموزش $n$-step TD با مقادیر مختلف $n$، از $۱$ (TD خالص) تا $\infty$ (MC خالص) مقایسه کردیم. نتیجه واقعا خوب است. TRL مربوط به بهترین TD-$n$ برای همه وظایف است، بدون نیاز به تنظیم $\boldsymbol{n}$! این دقیقاً همان چیزی است که ما از پارادایم تفرقه بینداز و حکومت کن. با تقسیم بازگشتی یک مسیر به مسیرهای کوچکتر، می تواند به طور طبیعی کنترل افق های طولانی بدون نیاز به انتخاب دلخواه طول مسیر.

این مقاله دارای بسیاری از آزمایش‌ها، تجزیه و تحلیل‌ها و فرسایش‌های اضافی است. اگر علاقه مند هستید، خبرنامه ما را بررسی کنید!

بعد چی

در این پست، نتایج امیدوارکننده‌ای را از الگوریتم یادگیری جدید خود تقسیم کن، یعنی Transitive RL به اشتراک گذاشتم. این تازه شروع سفر است. سوالات باز و مسیرهای هیجان انگیز زیادی برای تحقیق وجود دارد:

شاید مهم ترین سوال این باشد که چگونه می توان TRL را به وظایف RL معمولی و مبتنی بر پاداش فراتر از RL شرطی هدف گسترش داد. آیا RL معمولی ساختاری مشابه تقسیم کن و حکومت خواهد داشت که بتوانیم از آن استفاده کنیم؟ من نسبت به این موضوع کاملاً خوشبین هستم، با توجه به اینکه حداقل در تئوری می توان هر کار RL مبتنی بر پاداش را به یک هدف محور تبدیل کرد (به صفحه ۴۰ این کتاب مراجعه کنید).
چالش مهم دیگر برخورد با محیط های تصادفی است. نسخه فعلی TRL دینامیک قطعی را فرض می‌کند، اما بسیاری از محیط‌های دنیای واقعی تصادفی هستند، عمدتاً به دلیل قابلیت مشاهده جزئی. برای این، نابرابری های مثلث “تصادفی” می توانند نکاتی را ارائه دهند.
در عمل، من فکر می کنم هنوز فضای زیادی برای TRL برای بهبود بیشتر وجود دارد. به عنوان مثال، ما می‌توانیم راه‌های بهتری برای انتخاب اهداف فرعی نامزد (فراتر از اهداف مشابه)، کاهش بیشتر فراپارامترها، تثبیت بیشتر یادگیری و ساده‌سازی الگوریتم بیشتر پیدا کنیم.

به طور کلی، من در مورد پتانسیل پارادایم تفرقه بیانداز و حکومت کن بسیار هیجان زده هستم. من هنوز فکر می کنم یکی از مهم ترین مشکلات در RL (و حتی در یادگیری ماشین) پیدا کردن a است مقیاس پذیر الگوریتم RL خارج از سیاست. نمی‌دانم تصمیم نهایی چگونه خواهد بود، اما فکر می‌کنم تفرقه بیانداز و حکومت کن یا بازگشتی تصمیم گیری به طور کلی، یکی از قوی ترین مدعیان برای این جام مقدس است (به هر حال، من فکر می کنم دیگر رقبای قوی (۱) RL مبتنی بر مدل و (۲) یادگیری TD با برخی ترفندهای “جادویی” هستند). در واقع، چندین پیشرفت اخیر در زمینه‌های دیگر، نوید راهبردهای بازگشت و تقسیم و غلبه را نشان داده است، مانند مدل‌های دسترسی سریع، توجه خطی ورود به سیستم، و مدل‌های زبان بازگشتی (و البته، الگوریتم‌های کلاسیک مانند مرتب‌سازی سریع، درختان بخش، FFT، و غیره). امیدوارم در آینده نزدیک شاهد پیشرفت هیجان انگیزتری در RL مقیاس پذیر خارج از قوانین باشم!