معرفی موتور استدلال Clarifai که برای استنتاج هوش مصنوعی عاملی بهینه شده است

این پست وبلاگ بر روی ویژگی ها و پیشرفت های جدید تمرکز دارد. برای یک لیست جامع، از جمله رفع اشکال، لطفاً ببینید یادداشت های انتشار

موتور استدلال Clarifai: برای استنتاج هوش مصنوعی عاملی بهینه شده است

معرفی شما موتور استدلال Clarifai – یک چارچوب بهره وری کامل که برای ارائه ساخته شده است رکورد سرعت و بازده خروجی برای استدلال هوش مصنوعی و حجم کاری عامل.

برخلاف سیستم‌های استنتاج سنتی که پس از پیاده‌سازی بالا می‌آیند، موتور استدلال Clarifai به طور مداوم از رفتار بار یاد می گیردبهینه سازی دینامیک هسته ها، بچینگ و استفاده از حافظه. این رویکرد تطبیقی ​​به این معنی است که سیستم دریافت می کند سریعتر و با زمان کارآمدتربه ویژه برای وظایف عامل تکراری یا ساختار یافته، بدون به خطر انداختن دقت.

در آخرین ها معیارهای تحلیل مصنوعی از GPT-OSS-120B، کیت موتور استدلال Clarifai رکوردهای جدید در صنعت برای خروجی عملکرد GPU:

• ۵۴۴ توکن در ثانیه – سریعترین استنتاج مبتنی بر GPU اندازه گیری شده

• زمان تا اولین توکن ۰٫۳۶ ثانیه – پاسخ تقریباً فوری

• ۰٫۱۶ دلار در هر میلیون توکن – کمترین قیمت ترکیبی

این نتایج نه تنها از سایر ارائه دهندگان استنتاج مبتنی بر GPU بهتر بود، بلکه با شتاب دهنده های اختصاصی ASIC نیز رقابت کرد و ثابت کرد که GPU های مدرن، زمانی که با هسته های بهینه سازی شده جفت شوند، می توانند عملکرد استنتاج قابل مقایسه یا حتی بهتری داشته باشند.

طراحی موتور استدلال می باشد مدل-آگنوستیک. در حالی که GPT-OSS-120B به عنوان یک معیار عمل می کرد، همان بهینه سازی ها به دیگر مدل های تفکر بزرگ مانند Qwen3-30B-A3B-Thinking-2507، که در آن مشاهده کردیم، گسترش یافت. ۶۰ درصد بهبود عملکرد در مقایسه با عملکرد پایه توسعه دهندگان نیز می توانند الگوهای استدلال خود را معرفی کنند و با استفاده از ارکستراسیون محاسباتی Clarifai و پشته بهینه سازی هسته، دستاوردهای عملکرد مشابهی را تجربه کنید.

در هسته خود، موتور استدلال Clarifai یک استاندارد جدید برای اجرای منطق هوش مصنوعی و بارهای کاری عامل – سریعتر، ارزان تر، سازگارتر، و برای هر مدلی باز است.

مدل GPT-OSS-120B را مستقیماً در Clarifai امتحان کنید و از عملکرد موتور استدلال Clarifai لذت ببرید. شما همچنین می توانید مدل های خود را بیاورید یا با کارشناسان هوش مصنوعی ما صحبت کنید برای اعمال این بهینه‌سازی‌های تطبیقی ​​و مشاهده چگونگی بهبود توان عملیاتی و تأخیر در حجم‌های کاری دنیای واقعی.

کیت های ابزار

اضافه شدن پشتیبانی برای مقداردهی اولیه مدل ها با vLLM، LMStudioو Hugging Face جعبه ابزار برای دوندگان محلی

جعبه ابزار بغل کردن صورت

a اضافه کردیم جعبه ابزار بغل کردن صورت به Clarifai CLI، که راه‌اندازی اولیه، سفارشی‌سازی و سرویس‌دهی مدل‌های Hugging Face را از طریق آن آسان می‌کند. دوندگان محلی.

اکنون می‌توانید مدل‌های پشتیبانی‌شده Hugging Face را مستقیماً روی سخت‌افزار خود – لپ‌تاپ، ایستگاه‌های کاری یا جعبه‌های پایانی – دانلود و اجرا کنید و در عین حال آنها را به‌طور ایمن از طریق API عمومی Clarifai در معرض دید قرار دهید. مدل شما به صورت محلی اجرا می‌شود، داده‌های شما خصوصی می‌مانند، و پلتفرم Clarifai مسیریابی، احراز هویت و مدیریت را مدیریت می‌کند.

چرا از کیت ابزار بغل کردن صورت استفاده کنید:

• از محاسبه محلی استفاده کنید – مدل‌های باز را روی پردازنده‌های گرافیکی یا پردازنده‌های گرافیکی خود اجرا کنید و در عین حال آنها را از طریق API Clarifai در دسترس نگه دارید.

• محرمانگی را حفظ کنید – تمام استنتاج ها روی دستگاه شما اتفاق می افتد. فقط ابرداده از صفحه کنترل ایمن Clarifai عبور می کند.

• از تنظیم دستی رد شوید – دایرکتوری مدل را با یک دستور CLI راه اندازی کنید. وابستگی ها و تنظیمات به طور خودکار ادغام می شوند.

گام به گام: اجرای یک مدل صورت در آغوش گرفته به صورت محلی

۱٫ Clarifai CLI را نصب کنید
مطمئن شوید که Python 3.11+ و آخرین Clarifai CLI را دارید:

۲٫ با Clarifai احراز هویت
وارد شوید و یک زمینه پیکربندی برای Local Runner خود ایجاد کنید:

از شما خواسته می شود نام کاربری، شناسه برنامهو رمز دسترسی شخصی (PAT)که می توانید به عنوان متغیر محیطی نیز تنظیم کنید:

۳٫ نشانه دسترسی Hugging Face خود را دریافت کنید

اگر از مدل هایی از مخازن خصوصی استفاده می کنید، یک توکن در ایجاد کنید huggingface.co/settings/tokens و صادرات آن:

۴٫ یک مدل را با جعبه ابزار Hugging Face راه اندازی کنید
از پرچم جدید CLI استفاده کنید --toolkit huggingface برای داربست دایرکتوری مدل.

این دستور یک پوشه آماده برای اجرا با model.py، config.yamlو requirements.txt – برای دوندگان محلی از قبل سیم کشی شده است. شما می توانید تغییر دهید model.py برای تنظیم دقیق رفتار یا تغییر نقاط کنترل config.yaml.

۵٫ وابستگی ها را نصب کنید

۶٫ دونده محلی خود را شروع کنید

رانر شما با Clarifai ثبت می شود و CLI یک نقطه پایانی عمومی API آماده برای استفاده را چاپ می کند.

۷٫ مدل خود را تست کنید
می‌توانید آن را مانند هر مدل میزبان Clarifai از طریق SDK فراخوانی کنید:

در پشت صحنه، درخواست‌ها به دستگاه محلی شما هدایت می‌شوند – این مدل کاملاً روی سخت‌افزار شما اجرا می‌شود. برای راهنمای کامل راه‌اندازی، گزینه‌های پیکربندی، و نکات عیب‌یابی، به مستندات جعبه ابزار Hugging Face مراجعه کنید.

vLLM Toolkit

مدل‌های Hugging Face را روی موتور استنتاج vLLM با کارایی بالا اجرا کنید

vLLM یک زمان اجرا منبع باز است که برای ارائه مدل های زبان بزرگ با عملکرد استثنایی و کارایی حافظه بهینه شده است. برخلاف زمان‌های اجرا معمولی، vLLM از دسته‌بندی مداوم و زمان‌بندی پیشرفته GPU برای ارائه استنتاج سریع‌تر و ارزان‌تر استفاده می‌کند – ایده‌آل برای استقرار و آزمایش محلی.

با کلاریفای vLLM Toolkitشما می توانید هر مدل سازگار Hugging Face را بر روی دستگاه خود که توسط باطن بهینه سازی vLLM ارائه می شود، مقداردهی اولیه کرده و اجرا کنید. مدل شما به صورت محلی اجرا می شود، اما مانند هر مدل Clarifai میزبانی شده از طریق یک نقطه پایانی امن عمومی API رفتار می کند.

برای یادگیری نحوه راه اندازی و سرویس دهی مدل های vLLM با Local Runner به مستندات vLLM Toolkit مراجعه کنید.

LM Studio Toolkit

مدل های باز را از LM Studio اجرا کنید و آنها را از طریق Clarifai API در معرض دید قرار دهید

LM Studio یک برنامه دسکتاپ محبوب برای کار و چت با LLM های منبع باز محلی است – بدون نیاز به اتصال به اینترنت. با کلاریفای LM Studio Toolkitمی‌توانید این مدل‌های در حال اجرا محلی را به پلتفرم Clarifai متصل کنید، و آنها را از طریق یک API عمومی قابل فراخوانی کنید، در حالی که داده‌ها و اجرا را کاملاً روی دستگاه نگه دارید.

توسعه دهندگان می توانند از این ادغام برای گسترش مدل های LM Studio به API های آماده تولید با حداقل تنظیمات استفاده کنند.

راهنمای LM Studio Toolkit را بخوانید تا تنظیمات پشتیبانی شده و نحوه اجرای مدل های LM Studio با استفاده از Local Runners را ببینید.

مدل های جدید روی پلت فرم

ما چندین مدل جدید قدرتمند را اضافه کرده‌ایم که برای استدلال، وظایف با زمینه طولانی و قابلیت‌های چندوجهی بهینه شده‌اند:

• Qwen3-Next-80B-A3B-Thinking – یک مدل استنتاج با پارامتر ۸۰B، با قابلیت استنتاج پراکنده که عملکرد تقریباً پیشرو را در کارهای پیچیده با راندمان آموزشی استثنایی و استنتاج زمینه فوق‌العاده طولانی (تا ۲۵۶ هزار توکن) ارائه می‌کند.
  
• Qwen3-30B-A3B-Instruct-2507 – برای درک، رمزگذاری، دانش چند زبانه و هم ترازی کاربر، با ۲۵۶K توکن مدیریت زمینه طولانی بهبود یافته است.
• Qwen3-30B-A3B-Thinking-2507 – بهبود بیشتر تفکر، توانایی عمومی، همسویی و درک زمینه طولانی.

نسخه‌های ابری جدید: B200s و GH200s

ما نمونه‌های ابری جدیدی را اضافه کرده‌ایم تا به توسعه‌دهندگان گزینه‌های بیشتری برای بارهای کاری مبتنی بر GPU بدهیم:

• نمونه های B200 – نرخ های رقابتی از سیاتل.

• نسخه GH200 – پشتیبانی شده توسط Vultr برای وظایف با عملکرد بالا.

درباره میزبانی GPU درجه سازمانی برای مدل‌های هوش مصنوعی بیشتر بیاموزید و درخواست دسترسی کنید یا با کارشناسان هوش مصنوعی ما تماس بگیرید تا در مورد نیازهای حجم کاری خود صحبت کنید.

تغییرات اضافی

برای شروع ساختن آماده اید؟

با موتور استدلال Clarifai، می‌توانید حجم‌های کاری مبتنی بر هوش مصنوعی استدلال و عامل را سریع‌تر، کارآمدتر و با هزینه کمتر اجرا کنید – در حالی که کنترل کاملی بر مدل‌های خود دارید. Reasoning Engine به طور مداوم برای توان عملیاتی و تأخیر بهینه سازی می کند، چه از مدل های GPT-OSS-120B، چه Qwen یا مدل های سفارشی خود استفاده کنید.

مدل‌های خود را بیاورید و ببینید چگونه بهینه‌سازی‌های تطبیقی ​​عملکرد را تحت بارهای کاری در دنیای واقعی بهبود می‌بخشند. با کارشناسان هوش مصنوعی ما صحبت کنید برای یادگیری اینکه چگونه موتور استدلال Clarifai می تواند عملکرد مدل های سفارشی شما را بهینه کند.