يفتح الباحثون المصدر Sky-T1، وهو نموذج ذكاء اصطناعي “عقلاني” يمكن تدريبه بأقل من 450 دولارًا

لقد أصبح تطوير ما يسمى بنماذج الذكاء الاصطناعي الاستدلالي أسهل وأرخص.

في يوم الجمعة، أصدر NovaSky، وهو فريق من الباحثين من مختبر Sky Computing Lab التابع لجامعة كاليفورنيا في بيركلي، Sky-T1-32B-Preview، وهو نموذج منطقي يتنافس مع إصدار سابق من OpenAI’s o1 على عدد من المعايير الرئيسية. يبدو أن Sky-T1 هو أول نموذج تفكير مفتوح المصدر حقًا، بمعنى أنه يمكن تكراره من الصفر؛ أصدر الفريق مجموعة البيانات التي استخدموها لتدريبه بالإضافة إلى كود التدريب اللازم.

وكتب الفريق في منشور بالمدونة: “من اللافت للنظر أن Sky-T1-32B-Preview تم تدريبها بأقل من 450 دولارًا، مما يوضح أنه من الممكن تكرار قدرات التفكير عالية المستوى بتكلفة معقولة وبكفاءة”.

قد لا يبدو مبلغ 450 دولارًا في المتناول. ولكن لم يمض وقت طويل حتى كانت تكلفة تدريب نموذج ذي أداء مماثل تتراوح في كثير من الأحيان بملايين الدولارات.

على عكس معظم أنظمة الذكاء الاصطناعي، تقوم نماذج الاستدلال بالتحقق من الحقائق بشكل فعال، مما يساعدها على تجنب بعض المخاطر التي عادة ما تتعثر النماذج. تستغرق نماذج الاستدلال وقتًا أطول قليلًا – عادةً من ثوانٍ إلى دقائق – للوصول إلى الحلول مقارنة بالنموذج غير الاستدلالي النموذجي. الجانب الإيجابي هو أنها تميل إلى أن تكون أكثر موثوقية في مجالات مثل الفيزياء والعلوم والرياضيات.

يقول فريق NovaSky إنه استخدم نموذجًا منطقيًا آخر، وهو QwQ-32B-Preview من Alibaba، لإنشاء بيانات التدريب الأولية لـ Sky-T1، ثم “نظم” خليط البيانات واستفاد من GPT-4o-mini من OpenAI لإعادة هيكلة البيانات إلى المزيد تنسيق عملي. استغرق تدريب Sky-T1 الذي يحتوي على 32 مليار معلمة حوالي 19 ساعة باستخدام رف مكون من 8 وحدات معالجة رسومات Nvidia H100. (تتوافق المعلمات تقريبًا مع مهارات حل المشكلات الخاصة بالنموذج.)

وفقًا لفريق NovaSky، فإن أداء Sky-T1 أفضل من إصدار المعاينة المبكرة لـ o1 على MATH500، وهي مجموعة من التحديات الرياضية “على مستوى المنافسة”. يتفوق النموذج أيضًا على معاينة o1 في مجموعة من المشكلات الصعبة من LiveCodeBench، وهو تقييم للترميز.

ومع ذلك، فإن Sky-T1 لا يرقى إلى مستوى المعاينة o1 على GPQA-Diamond، والتي تحتوي على أسئلة متعلقة بالفيزياء والأحياء والكيمياء والتي من المتوقع أن يعرفها خريج الدكتوراه.

من المهم أيضًا ملاحظة أن إصدار GA الخاص بـ OpenAI لـ o1 يعد نموذجًا أقوى من إصدار المعاينة لـ o1، ومن المتوقع أن يصدر OpenAI نموذجًا منطقيًا أفضل أداءً، o3، في الأسابيع المقبلة.

لكن فريق NovaSky يقول إن Sky-T1 يمثل فقط بداية رحلتهم لتطوير نماذج مفتوحة المصدر ذات قدرات تفكير متقدمة.

وكتب الفريق في المنشور: “للمضي قدمًا، سنركز على تطوير نماذج أكثر كفاءة تحافظ على أداء منطقي قوي واستكشاف التقنيات المتقدمة التي تزيد من تعزيز كفاءة النماذج ودقتها في وقت الاختبار”. “تابعونا بينما نحرز تقدمًا في هذه المبادرات المثيرة.”