تقوم شركة Pruna AI ، وهي شركة ناشئة أوروبية تعمل على خوارزميات الضغط لنماذج الذكاء الاصطناعي ، تجعل من المصدر المفتوح لإطار التحسين يوم الخميس.
تقوم Pruna AI بإنشاء إطار يطبق العديد من أساليب الكفاءة ، مثل التخزين المؤقت ، التقليم ، القياس الكمي ، إلى نموذج AI معين.
“نقوم أيضًا بتوحيد حفظ وتحميل النماذج المضغوطة ، وتطبيق مجموعات من طرق الضغط هذه ، وكذلك تقييم نموذجك المضغوط بعد ضغطه” ، قال Pruna AI المشارك و CTO John Rachwan لـ TechCrunch.
على وجه الخصوص ، يمكن لإطار عمل Pruna AI تقييم ما إذا كان هناك خسارة كبيرة في الجودة بعد ضغط نموذج ومكاسب الأداء التي تحصل عليها.
وأضاف: “إذا كنت أرغب في استخدام استعارة ، فنحن نشبه كيف يعانق المحولات الموحدة والموزعين – كيفية الاتصال بهم ، وكيفية حفظها ، وتحميلها ، وما إلى ذلك. نحن نفعل الشيء نفسه ، ولكن لأساليب الكفاءة”.
كانت مختبرات AI الكبيرة تستخدم بالفعل طرق ضغط مختلفة بالفعل. على سبيل المثال ، تعتمد Openai على التقطير لإنشاء إصدارات أسرع من نماذجها الرئيسية.
من المحتمل أن يكون هذا كيف طورت Openai GPT-4 Turbo ، وهي نسخة أسرع من GPT-4. وبالمثل ، فإن نموذج توليد الصور Flux.1-Schnell هو نسخة مقطرة من طراز Flux.1 من Black Forest Labs.
التقطير هو تقنية تستخدم لاستخراج المعرفة من نموذج منظمة العفو الدولية الكبيرة مع نموذج “طالب المعلم”. يرسل المطورون طلبات إلى نموذج المعلم وتسجيل المخرجات. تتم مقارنة الإجابات أحيانًا بمجموعة بيانات لمعرفة مدى دقتها. ثم يتم استخدام هذه المخرجات لتدريب نموذج الطالب ، الذي يتم تدريبه على تقريب سلوك المعلم.
وقال راشوان: “بالنسبة للشركات الكبرى ، فإن ما تقوم به عادة هو أن يبنوا هذه الأشياء في المنزل. وما يمكنك العثور عليه في عالم المصدر المفتوح يعتمد عادة على طرق واحدة. على سبيل المثال ، دعنا نقول طريقة كمية واحدة لـ LLMs ، أو طريقة التخزين المؤقت واحدة لنماذج الانتشار”. “لكن لا يمكنك العثور على أداة تجمعها جميعًا ، مما يجعلها سهلة الاستخدام وتجمعها معًا. وهذه هي القيمة الكبيرة التي تجلبها Pruna الآن.”
بينما تدعم Pruna AI أي نوع من النماذج ، من نماذج اللغة الكبيرة إلى نماذج الانتشار ، ونماذج الكلام إلى النص ونماذج رؤية الكمبيوتر ، تركز الشركة بشكل أكثر تحديداً على نماذج توليد الصور والفيديو في الوقت الحالي.
يتضمن بعض مستخدمي Pruna AI الحاليين السيناريو والتصوير. بالإضافة إلى الإصدار المفتوح المصدر ، لدى Pruna AI عرضًا للمؤسسة مع ميزات التحسين المتقدمة بما في ذلك وكيل التحسين.
وقال راتشوان: “الميزة الأكثر إثارة التي سنطلقها قريبًا ستكون وكيل ضغط”. “في الأساس ، تعطيه نموذجك ، أنت تقول:” أريد المزيد من السرعة ولكن لا أسقط دقتي بأكثر من 2 ٪. ” وبعد ذلك ، سيجد العامل سحره.
تتهم Pruna AI بالساعة لإصدارها المحترف. وقال راشوان: “إنه يشبه كيف ستفكر في وحدة معالجة الرسومات عند استئجار وحدة معالجة الرسومات على AWS أو أي خدمة سحابية”.
وإذا كان النموذج الخاص بك جزءًا مهمًا من البنية التحتية لمنظمة العفو الدولية ، فسوف ينتهي بك الأمر إلى توفير الكثير من المال على الاستدلال مع النموذج المحسن. على سبيل المثال ، جعلت Pruna AI طراز Llama ثم ثماني مرات دون فقد الكثير من الخسارة باستخدام إطار الضغط الخاص به. وتأمل Pruna AI أن يفكر عملائها في إطار الضغط الخاص بها كاستثمار يدفع لنفسه.
جمعت Pruna AI تمويل البذور بقيمة 6.5 مليون دولار قبل بضعة أشهر. من بين المستثمرين في بدء التشغيل eqt Ventures و Daphni و Motier Ventures و Kima Ventures.
اكتشاف المزيد من اشراق اون لاين
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
