شرکت چینی شیائومی با معرفی مدل زبان بزرگ (LLM) جدید خود به نام MiMo-7B، گامی مهم در حوزه هوش مصنوعی برداشته است. این مدل متنباز با تمرکز بر استدلال ریاضی و تولید کد، عملکردی فراتر از مدلهای مشابه از شرکتهای OpenAI و علیبابا ارائه میدهد.
MiMo-7B: مدل زبان قدرتمند و متنباز
MiMo-7B با ۷ میلیارد پارامتر، توسط تیم جدید Big Model Core Team توسعه یافته است. با وجود حجم کمتر نسبت به مدلهای بزرگتر، این مدل در آزمونهای استدلال ریاضی (AIME 24-25) و تولید کد (LiveCodeBench v5) عملکرد بهتری نسبت به مدلهای o1-mini از OpenAI و Qwen-32B-Preview از علیبابا داشته است.
فناوریهای نوین در آموزش و بهینهسازی
شیائومی برای آموزش MiMo-7B از مجموعه دادهای با ۲۰۰ میلیارد توکن مرتبط با استدلال و مجموعاً ۲۵ تریلیون توکن در سه مرحله آموزشی استفاده کرده است. همچنین، به جای پیشبینی توکن بعدی، از هدف پیشبینی چندتوکنی بهره برده تا زمان استنتاج کاهش یابد بدون اینکه کیفیت خروجی تحت تأثیر قرار گیرد.
در فرآیند پسآموزش، از تکنیکهای یادگیری تقویتی و بهبودهای زیرساختی استفاده شده است. الگوریتم اختصاصی Test Difficulty Driven Reward برای مقابله با سیگنالهای پاداش پراکنده و روش Easy Data Re-Sampling برای پایداری آموزش به کار گرفته شدهاند. همچنین، سیستم Seamless Rollout برای کاهش زمان بیکاری GPU و افزایش سرعت آموزش به میزان ۲.۲۹ برابر و بهبود عملکرد اعتبارسنجی نزدیک به دو برابر توسعه یافته است.
نسخههای مختلف و دسترسی آزاد
چهار نسخه عمومی از MiMo-7B ارائه شده است:
-
Base: مدل پیشآموزشدیده خام
-
SFT: نسخه تنظیمشده با دادههای نظارتشده
-
RL-Zero: نسخه یادگیری تقویتی از مدل پایه
-
RL: نسخه پیشرفته با دقت بالاتر بر پایه SFT
نسخه RL در آزمون MATH-500 امتیاز ۹۵.۸٪ و در مجموعه داده AIME 2024 بیش از ۶۸٪ کسب کرده است. در تولید کد، امتیاز ۵۷.۸٪ در LiveCodeBench v5 و نزدیک به ۵۰٪ در نسخه ۶ به دست آمده است.
MiMo-7B اکنون به صورت متنباز در پلتفرم Hugging Face در دسترس است و مستندات و نقاط بازرسی مدل در GitHub منتشر شدهاند.
گامی مهم برای شیائومی در حوزه هوش مصنوعی
معرفی MiMo-7B نشاندهنده تعهد شیائومی به توسعه فناوریهای هوش مصنوعی و ارتقاء قابلیتهای محصولات خود است. این مدل میتواند نقش مهمی در بهبود سیستمهای هوشمند و افزایش توانمندیهای دستگاههای مختلف ایفا کند.
منابع:
-
Xiaomi launches MiMo-7B, its first open-source LLM for reasoning and coding. Gizmochina. 2 مه 2025. لینک
-
Xiaomi unveils latest advancements in LLM, with a focus on lightweight applications. TechNode. 15 آگوست 2023. لینک
-
Xiaomi takes shot at premium AI phone sector. China Daily. 16 آگوست 2023. لینک
