إن اختبار الذكاء الاصطناعي العام (AGI) أقرب إلى الحل، لكنه قد يكون معيبًا

أصبح الاختبار المعروف للذكاء العام الاصطناعي (AGI) أقرب إلى الحل. لكن واضعي الاختبارات يقولون إن هذا يشير إلى عيوب في تصميم الاختبار، وليس اختراقًا بحثيًا حقيقيًا.

في عام 2019، قدم فرانسوا شوليه، وهو شخصية بارزة في عالم الذكاء الاصطناعي، معيار ARC-AGI، وهو اختصار لعبارة “الملخص والمنطق للذكاء العام الاصطناعي”. ويزعم فرانسوا أن اختبار ARC-AGI، المصمم لتقييم ما إذا كان نظام الذكاء الاصطناعي قادراً على اكتساب مهارات جديدة بكفاءة خارج البيانات التي تم تدريبه عليها، هو الاختبار الوحيد للذكاء الاصطناعي لقياس التقدم نحو الذكاء العام (على الرغم من اقتراح اختبارات أخرى).

حتى هذا العام، لم يتمكن الذكاء الاصطناعي الأفضل أداءً من حل سوى ما يقل قليلاً عن ثلث المهام في ARC-AGI. وألقى شوليه باللوم على تركيز الصناعة على نماذج اللغات الكبيرة (LLMs)، والتي يعتقد أنها غير قادرة على “الاستدلال” الفعلي.

وقال في سلسلة من المنشورات على موقع X في فبراير: “تواجه ماجستير إدارة الأعمال صعوبة في التعميم، نظرًا لاعتمادها بشكل كامل على الحفظ”. “إنهم يكسرون أي شيء لم يكن موجودًا في بيانات التدريب الخاصة بهم.”

ومن وجهة نظر شوليه، فإن حاملي شهادات الماجستير في القانون عبارة عن آلات إحصائية. ومن خلال تدريبهم على الكثير من الأمثلة، يتعلمون الأنماط في تلك الأمثلة لإجراء تنبؤات، مثل عبارة “إلى من” في رسالة البريد الإلكتروني التي تسبق عادةً عبارة “قد يهمني الأمر”.

يؤكد شوليه أنه على الرغم من أن طلاب ماجستير القانون قد يكونون قادرين على حفظ “أنماط الاستدلال”، فمن غير المرجح أن يتمكنوا من توليد “استدلال جديد” يعتمد على مواقف جديدة. “إذا كنت بحاجة إلى التدريب على العديد من الأمثلة لنمط ما، حتى لو كان ذلك ضمنيًا، من أجل تعلم تمثيل قابل لإعادة الاستخدام له، فأنت تحفظ عن ظهر قلب،” كما جادل شوليه في منشور آخر.

لتحفيز الأبحاث خارج نطاق ماجستير إدارة الأعمال، أطلق مايك نوب، المؤسس المشارك لشوليت وزابير، في يونيو مسابقة بقيمة مليون دولار لبناء ذكاء اصطناعي مفتوح المصدر قادر على التغلب على ARC-AGI. من بين 17,789 مشاركة، حصل أفضل المرشحين على 55.5%، أي أعلى بنسبة 20% تقريبًا من أفضل هداف لعام 2023، وإن كان أقل من عتبة “المستوى البشري” المطلوبة للفوز وهي 85%.

يقول نوب إن هذا لا يعني أننا اقتربنا بنسبة 20% تقريبًا من الذكاء الاصطناعي العام.

نعلن اليوم عن الفائزين بجائزة ARC لعام 2024. وننشر أيضًا تقريرًا فنيًا موسعًا حول ما تعلمناه من المسابقة (الرابط في التغريدة التالية).

ارتفعت نسبة التكنولوجيا الحديثة من 33% إلى 55.5%، وهي أكبر زيادة شهدناها في عام واحد منذ عام 2020.

– فرانسوا شوليت (@fcholet) 6 ديسمبر 2024

في منشور بالمدونة، قال نوب إن العديد من الطلبات المقدمة إلى ARC-AGI كانت قادرة على “القوة الغاشمة” في طريقها إلى الحل، مما يشير إلى أن “جزءًا كبيرًا” من مهام ARC-AGI “[don’t] تحمل الكثير من الإشارات المفيدة نحو الذكاء العام.

يتكون ARC-AGI من مسائل تشبه الألغاز حيث يتعين على الذكاء الاصطناعي، في ضوء شبكة من المربعات ذات الألوان المختلفة، إنشاء شبكة “الإجابة” الصحيحة. تم تصميم المشكلات لإجبار الذكاء الاصطناعي على التكيف مع المشكلات الجديدة التي لم يسبق له رؤيتها من قبل. لكن ليس من الواضح أنهم يحققون ذلك.

“[ARC-AGI] “لم يتغير منذ عام 2019 وليس مثاليًا” ، اعترف نوب في منشوره.

واجه فرانسوا وكنوب أيضًا انتقادات بسبب المبالغة في بيع ARC-AGI كمعيار للذكاء الاصطناعي العام – في وقت يتم فيه التنافس بشدة على تعريف الذكاء الاصطناعي العام. ادعى أحد موظفي OpenAI مؤخرًا أن الذكاء الاصطناعي العام قد تم تحقيقه “بالفعل” إذا تم تعريف الذكاء الاصطناعي العام على أنه ذكاء اصطناعي “أفضل من معظم البشر في معظم المهام”.

ويقول نوب وشوليت إنهما يخططان لإصدار معيار ARC-AGI من الجيل الثاني لمعالجة هذه المشكلات، إلى جانب المنافسة في عام 2025. “سنواصل توجيه جهود مجتمع البحث نحو ما نعتبره أهم المشاكل التي لم يتم حلها في الذكاء الاصطناعي، وتسريع الجدول الزمني للذكاء الاصطناعي العام”، كتب تشوليه في منشور X.

من المرجح أن الإصلاحات لن تأتي بسهولة. إذا كانت عيوب اختبار ARC-AGI الأول تمثل أي مؤشر، فإن تعريف الذكاء الاصطناعي سيكون صعبا – ومثيرا للتوتر – كما كان الحال بالنسبة للبشر.