تتيح لعبة Tülu 3 مفتوحة المصدر من Ai2 لأي شخص ممارسة لعبة الذكاء الاصطناعي بعد التدريب

اسأل أي شخص في مجتمع الذكاء الاصطناعي مفتوح المصدر، وسيخبرك أن الفجوة بينهم وبين الشركات الخاصة الكبرى هي أكثر من مجرد قوة حاسوبية. تعمل Ai2 على إصلاح ذلك، أولاً من خلال قواعد بيانات ونماذج مفتوحة المصدر بالكامل، والآن من خلال نظام ما بعد التدريب مفتوح وسهل التكيف لتحويل نماذج اللغة الكبيرة “الخام” (LLMs) إلى نماذج قابلة للاستخدام.

وعلى عكس ما يعتقده الكثيرون، فإن نماذج اللغة “الأساسية” لا تخرج من عملية التدريب وتكون جاهزة للبدء في العمل. إن عملية التدريب المسبق ضرورية بالطبع، ولكنها ليست كافية على الإطلاق. بل إن البعض يعتقد أن التدريب المسبق قد لا يصبح قريبًا الجزء الأكثر أهمية على الإطلاق.

وذلك لأن عملية ما بعد التدريب تظهر بشكل متزايد أنها المكان الذي يمكن فيه إنشاء قيمة حقيقية. هذا هو المكان الذي تم فيه تشكيل النموذج من شبكة عملاقة تعرف كل شيء والتي ستنتج بسهولة نقاط حوار لإنكار الهولوكوست كما ستنتج وصفات الكعك. أنت عموما لا تريد ذلك!

تتحفظ الشركات بشأن أنظمة ما بعد التدريب الخاصة بها، لأنه في حين يمكن لأي شخص أن يتصفح الويب ويصنع نموذجًا باستخدام أحدث الأساليب، فإن جعل هذا النموذج مفيدًا، على سبيل المثال، لمعالج أو محلل أبحاث يمثل تحديًا مختلفًا تمامًا.

تحدث Ai2 (المعروف سابقًا باسم معهد ألين للذكاء الاصطناعي) علنًا عن الافتقار إلى الانفتاح في مشاريع الذكاء الاصطناعي “المفتوحة” ظاهريًا، مثل Meta’s Llama. في حين أن النموذج مجاني بالفعل ويمكن لأي شخص استخدامه وتعديله، إلا أن مصادر وعملية صنع النموذج الأولي وطريقة تدريبه للاستخدام العام تظل أسرارًا محمية بعناية. إنه ليس سيئًا – ولكنه أيضًا ليس “مفتوحًا” حقًا.

من ناحية أخرى، تلتزم Ai2 بأن تكون منفتحة قدر الإمكان، بدءًا من الكشف عن جمع البيانات وتنظيمها وتنظيفها وخطوط الأنابيب الأخرى وحتى أساليب التدريب الدقيقة التي تستخدمها لإنتاج LLMs مثل OLMo.

لكن الحقيقة البسيطة هي أن عددًا قليلاً من المطورين لديهم المهارات اللازمة لتشغيل دورات LLM الخاصة بهم للبدء بها، وعدد أقل منهم يمكنهم القيام بالتدريب اللاحق بالطريقة التي تفعلها Meta أو OpenAI أو Anthropic – ويرجع ذلك جزئيًا إلى أنهم لا يعرفون كيف، ولكن أيضًا لأنهم إنها معقدة من الناحية الفنية وتستغرق وقتًا طويلاً.

ولحسن الحظ، تريد Ai2 إضفاء الطابع الديمقراطي على هذا الجانب من النظام البيئي للذكاء الاصطناعي أيضًا. وهنا يأتي دور Tülu 3. إنه تحسن كبير مقارنة بعملية ما بعد التدريب السابقة والأكثر بدائية (تسمى، كما خمنت، Tülu 2). وفي اختبارات المنظمة غير الربحية، أدى ذلك إلى الحصول على درجات مساوية للنماذج “المفتوحة” الأكثر تقدمًا المتوفرة. إنه يعتمد على أشهر من التجارب والقراءة وتفسير ما يلمح إليه الكبار، والكثير من الدورات التدريبية المتكررة.

في الأساس، يغطي Tülu 3 كل شيء بدءًا من اختيار الموضوعات التي تريد أن يهتم بها نموذجك – على سبيل المثال، التقليل من أهمية القدرات المتعددة اللغات ولكن استخدام الرياضيات والبرمجة – إلى أخذها عبر نظام طويل من تنظيم البيانات، والتعلم المعزز، والضبط الدقيق والتفضيل من الضبط إلى التغيير والتبديل في مجموعة من المعلمات الوصفية وعمليات التدريب الأخرى التي لم أتمكن من وصفها لك بشكل كافٍ. ونأمل أن تكون النتيجة نموذجًا أكثر قدرة بكثير يركز على المهارات التي تحتاجها.

لكن النقطة الحقيقية هي إخراج لعبة أخرى من صندوق ألعاب الشركات الخاصة. في السابق، إذا كنت ترغب في إنشاء ماجستير إدارة أعمال (LLM) مُدرَّب خصيصًا، كان من الصعب جدًا تجنب استخدام موارد شركة كبرى بطريقة أو بأخرى، أو التعاقد مع وسيط يقوم بهذا العمل نيابةً عنك. وهذا ليس مكلفًا فحسب، بل إنه ينطوي أيضًا على مخاطر لا تتحملها بعض الشركات.

على سبيل المثال، شركات الأبحاث والخدمات الطبية: بالتأكيد، يمكنك استخدام واجهة برمجة التطبيقات الخاصة بـ OpenAI، أو التحدث إلى Scale أو أي شخص آخر لتخصيص نموذج داخلي، ولكن كلاهما يتضمن شركات خارجية في بيانات المستخدم الحساسة. إذا كان الأمر لا مفر منه، فما عليك سوى أن تعض الرصاصة – ولكن إذا لم يكن الأمر كذلك؟ على سبيل المثال، إذا أصدرت إحدى المنظمات البحثية نظامًا متكاملًا قبل وبعد التدريب يمكنك تنفيذه داخل مقر العمل؟ وقد يكون ذلك بديلاً أفضل.

يستخدم Ai2 هذا بنفسه، وهو أفضل تأييد يمكن للمرء تقديمه. على الرغم من أن نتائج الاختبار التي تنشرها اليوم تستخدم اللاما كنموذج أساسي، إلا أنهم يخططون لطرح نموذج تم تدريبه على أساس OLMo، وTülu 3 قريبًا والذي من المفترض أن يقدم المزيد من التحسينات على خط الأساس ويكون أيضًا مفتوح المصدر بالكامل، نصيحة إلى الذيل.

إذا كنت مهتمًا بكيفية أداء النموذج حاليًا، فقم بتجربة العرض التجريبي المباشر.