تعرضت منظمة قياس الذكاء الاصطناعي للانتقاد لانتظارها الكشف عن التمويل من OpenAI
لم تكشف إحدى المنظمات التي تعمل على تطوير معايير الرياضيات للذكاء الاصطناعي عن أنها تلقت تمويلًا من OpenAI حتى وقت قريب نسبيًا، مما أثار ادعاءات بارتكاب مخالفات من البعض في مجتمع الذكاء الاصطناعي.
كشفت Epoch AI، وهي منظمة غير ربحية تمولها في المقام الأول مؤسسة Open Philanthropy، وهي مؤسسة للأبحاث وتقديم المنح، في 20 ديسمبر أن OpenAI دعمت إنشاء FrontierMath. كان FrontierMath، وهو اختبار يتضمن مشاكل على مستوى الخبراء مصممًا لقياس المهارات الرياضية للذكاء الاصطناعي، أحد المعايير التي استخدمتها OpenAI لعرض الذكاء الاصطناعي الرائد القادم، o3.
في منشور على منتدى LessWrong، يقول أحد المقاولين لشركة Epoch AI باسم المستخدم “Meemi” إن العديد من المساهمين في معيار FrontierMath لم يتم إبلاغهم بمشاركة OpenAI حتى تم الإعلان عنه.
وكتب ميمي: “لم يكن التواصل بشأن هذا الأمر شفافاً”. “من وجهة نظري، كان ينبغي لشركة Epoch AI أن تكشف عن تمويل OpenAI، ويجب أن يكون لدى المقاولين معلومات شفافة حول إمكانية استخدام عملهم للقدرات، عند اختيار ما إذا كانوا سيعملون على أساس معياري أم لا.”
على وسائل التواصل الاجتماعي، أثار بعض المستخدمين مخاوف من أن السرية قد تؤدي إلى تآكل سمعة FrontierMath كمعيار موضوعي. بالإضافة إلى دعم FrontierMath، تمكنت OpenAI من الوصول إلى العديد من المشكلات والحلول في المعيار – وهي حقيقة لم يكشف عنها Epoch AI قبل 20 ديسمبر، عندما تم الإعلان عن o3.
في الرد على مشاركة Meemi، أكد Tamay Besiroglu، المدير المساعد لـ Epoch AI وأحد مؤسسي المنظمة، أن سلامة FrontierMath لم يتم المساس بها، لكنه اعترف بأن Epoch AI “ارتكبت خطأ” في عدم كونها أكثر أهمية. شفاف.
كتب بيسيروغلو: “لقد مُنعنا من الكشف عن الشراكة حتى وقت إطلاق o3 تقريبًا، وكان ينبغي لنا بعد فوات الأوان أن نتفاوض بشكل أكثر جدية من أجل القدرة على أن نكون شفافين مع المساهمين القياسيين في أقرب وقت ممكن”. “يستحق علماء الرياضيات لدينا أن يعرفوا من يمكنه الوصول إلى عملهم. على الرغم من أننا كنا محدودين تعاقديًا فيما يمكننا قوله، كان ينبغي علينا أن نجعل الشفافية مع المساهمين لدينا جزءًا غير قابل للتفاوض من اتفاقيتنا مع OpenAI.
وأضاف بيسيروغلو أنه على الرغم من أن OpenAI لديها إمكانية الوصول إلى FrontierMath، إلا أنها لديها “اتفاق شفهي” مع Epoch AI بعدم استخدام مجموعة مشاكل FrontierMath لتدريب الذكاء الاصطناعي الخاص بها. (سيكون تدريب الذكاء الاصطناعي على FrontierMath بمثابة التدريس للاختبار.) وقال بيسيروغلو إن Epoch AI لديه أيضًا “مجموعة منفصلة” تعمل بمثابة ضمانة إضافية للتحقق المستقل من نتائج اختبار FrontierMath.
كتب بيسيروغلو: “لقد كانت OpenAI … داعمة تمامًا لقرارنا بالحفاظ على مجموعة منفصلة وغير مرئية”.
ومع ذلك، مما زاد الطين بلة، أشار عالم الرياضيات الرائد في Epoch AI Ellot Glazer في منشور على Reddit إلى أن Epoch AI لم يكن قادرًا على التحقق بشكل مستقل من نتائج FrontierMath o3 الخاصة بـ OpenAI.
“رأيي الشخصي هو ذلك [OpenAI’s] وقال جليزر: “إن النتيجة شرعية (أي أنهم لم يتدربوا على مجموعة البيانات)، وليس لديهم أي حافز للكذب بشأن أداء القياس الداخلي”. “ومع ذلك، لا يمكننا أن نضمنهم حتى يكتمل تقييمنا المستقل.”
وتُعَد هذه الملحمة مثالا آخر على التحدي المتمثل في تطوير معايير تجريبية لتقييم الذكاء الاصطناعي – وتأمين الموارد اللازمة لتطوير المعايير دون خلق تصور لتضارب المصالح.
اكتشاف المزيد من اشراق اون لاين
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
