أعلنت شركة Xiaomi "شاومي"، عن إطلاق MiMo-7B كأول نموذج مفتوح المصدر من تطويرها في مجال النماذج اللغوية الكبيرة، و تم تصميم هذا النموذج خصيصًا للتعامل مع المهام المعقدة التي تتطلب التفكير الرياضي وتوليد الأكواد، وهو يتفوق على منافسيه مثل OpenAI وAlibaba في هذه المجالات، وبالرغم من حجم النموذج الصغير (7 مليار معلمة)، إلا أنه يقدم أداءً متميزًا يعادل النماذج الأكبر.

تفاصيل النموذج

MiMo-7B الذي تم تطويره بواسطة فريقBig Model Core Team في Xiaomi، وهو نموذج 7 بمثابة مليار معلم وهو أصغر بكثير من العديد من النماذج اللغوية الأخرى مثل o1-mini من OpenAI وQwen-32B من Alibaba، ومع ذلك تتفوق Xiaomi في تقديم نموذج قادر على معالجة المهام الرياضية وتوليد الأكواد بشكل ممتاز، مما يجعله منافسًا قويًا في هذا المجال، و MiMo-7B ليس فقط قادرًا على معالجة الاستدلال الرياضي بل يتفوق أيضًا في كتابة الأكواد، بما في ذلك في البيئات التنافسية مثل LiveCodeBench v5.

التقنيات المستخدمة في التدريب

يعتمد النموذج على طريقة تدريب دقيقة تم من خلالها تغذية النموذج بـ200 مليار رمز استدلالي، مما يعزز دقته وكفاءته في المهام المعقدة، كما تم تدريب MiMo-7B باستخدام خوارزمية التعلم المعزز وتقنيات التحسين التي تتيح له تحسين أدائه بسرعة.

الإصدارات العامة

يتم توفيرMiMo-7B للجمهور بنظام مفتوح المصدر وهو متاح في أربع إصدارات رئيسية، تشمل نسخة أساسية ونسخة مدربة بإشراف ونسخة معززة بتقنيات التعلم المعزز مع نسخة متطورة تقدم أعلى أداء.

الأداء والنتائج

حقق MiMo-7B نتائج عالية في عدة اختبارات منها اختبار الرياضيات حيث سجل نسبة95.8% في MATH-500، وفي اختبار LiveCodeBench v5 لتوليد الأكواد سجل نسبة 57.8%، وتعتبر هذه النتائج مشجعة للغاية، خاصة بالنظر إلى حجم النموذج7 مليار معلمة.

التوافر

النموذج متاح الآن على Hugging Face بموجب ترخيص مفتوح المصدر، مما يتيح للمطورين والمجتمعات التقنية إمكانية الاستفادة منه وتطويره بشكل مجاني.