Meta’s Vanilla Maverick AI Model تحتل المرتبة تحت المنافسين على معيار دردشة شهيرة

في وقت سابق من هذا الأسبوع ، هبطت Meta في الماء الساخن لاستخدام نسخة تجريبية غير منشورة من طراز Llama 4 Maverick لتحقيق درجة عالية على معيار تعهيد ، LM Arena. دفع الحادث إلى مشرفي LM Arena للاعتذار ، وتغيير سياساتهم ، وتسجيل الفانيليا مافريك غير المعدلة.

تبين ، إنه ليس منافسًا للغاية.

تم تصنيف مافريك غير المعدل ، “LLAMA-4-MAVERICK-17B-128E-INSTRUCT” ، في المرتبة أدناه على نماذج بما في ذلك GPT-4O من Openai ، و Claude 3.5 Sonnet ، وجيميني Gemini 1.5 من Google من Google اعتبارًا من يوم الجمعة. العديد من هذه النماذج عمرها أشهر.

تمت إضافة إصدار إصدار Llama 4 إلى Lmarena بعد أن اكتشف أنهم خدعوا ، لكن ربما لم ترها لأنه يتعين عليك التمرير لأسفل إلى المركز 32 وهو مكان الرتب pic.twitter.com/a0bxkdx4lx

– ρ: ɡσn (pigeon__s) 11 أبريل 2025

لماذا الأداء الضعيف؟ أوضحت الشركة في مخطط نشر يوم السبت الماضي ، “لقد تم تحسين” مافريك التجريبية “، LLAMA-4-Maverick-03-26-Experimental ،” محسّنة للمحاكاة “، كما أوضحت الشركة في مخطط نُشر يوم السبت الماضي. من الواضح أن هذه التحسينات لعبت بشكل جيد مع LM Arena ، والتي لديها المقيمين البشريين يقارن مخرجات النماذج واختيار ما يفضلون.

كما كتبنا من قبل ، لأسباب مختلفة ، لم تكن LM Arena هي المقياس الأكثر موثوقية لأداء نموذج الذكاء الاصطناعي. ومع ذلك ، فإن تصميم نموذج لقياس – إلى جانب كونه مضللاً – يجعل من الصعب على المطورين التنبؤ بالضبط مدى أداء النموذج في سياقات مختلفة.

في بيان ، أخبر متحدث باسم META TechCrunch أن تجارب التعريف مع “جميع أنواع المتغيرات المخصصة”.

وقال المتحدث باسم “Llama-4-Maverick-03-26-Experimental” هو نسخة محسّنة للدردشة التي قمنا بها والتي تعمل بشكل جيد أيضًا على Lmarena “. “لقد أصدرنا الآن نسختنا المفتوحة المصدر وسنرى كيف يقوم المطورون بتخصيص Llama 4 لحالات الاستخدام الخاصة بهم. نحن متحمسون لمعرفة ما سيبنونه ونتطلع إلى ملاحظاتهم المستمرة.”