Pruna AI هي شركة ناشئة من أوروبا تركز على تطوير خوارزميات الضغط لنماذج الذكاء الاصطناعى. أعلنت الشركة مؤخرًا أنها ستفتح مصدر إطار التحسين الخاص بها لمساعدة المطورين على ضغط ونماذج الذكاء الاصطناعي بشكل أكثر كفاءة.
يجمع الإطار الذي طورته Pruna AI بين مجموعة متنوعة من أساليب الكفاءة ، بما في ذلك التخزين المؤقت ، التقليم ، القياس الكمي ، لتعزيز أداء نماذج الذكاء الاصطناعي. لا يوضح هذا الإطار تخزين نماذج الضغط وتحميله فحسب ، بل يقيم أيضًا النموذج المضغوط لتحديد ما إذا كانت جودته قد انخفضت بشكل كبير أثناء قياس تحسينات الأداء الناجمة عن الضغط.
وقال جون راشوان ، المؤسس المشارك وكبير موظفي التكنولوجيا في شركة Pruna AI واستخدامه: "يشبه إطار عملنا توحيد Face المعانقة للمحولات والمختلفون ، ونحن نقدم طريقة موحدة لاستدعاء واستخدام طرق الكفاءة المختلفة". طبقت الشركات الكبيرة مثل Openai طرق ضغط متعددة في نماذجها ، مثل استخدام التقطير لإنشاء إصدارات أسرع من نماذجها الرئيسية.
التقطير هو تقنية تستخرج المعرفة من خلال نموذج "طالب المعلم" ، حيث يرسل المطورون طلبات إلى نموذج المعلم وإخراج التسجيل. ثم يتم استخدام هذه المخرجات لتدريب نموذج الطالب لتقريب سلوك نموذج المعلم. يلاحظ Lahwan أنه على الرغم من أن العديد من الشركات الكبيرة تميل إلى بناء أدوات الضغط نفسها ، في مجتمع المصدر المفتوح ، يتم العثور على حلول تعتمد على طريقة واحدة فقط ، ويوفر Pruna AI أداة تدمج طرقًا متعددة ، وتبسيط عملية الاستخدام بشكل كبير.
في الوقت الحالي ، يدعم إطار Pruna AI مجموعة متنوعة من النماذج ، بما في ذلك نماذج اللغة الكبيرة ونماذج الانتشار ونماذج التعرف على الكلام ونماذج رؤية الكمبيوتر. لكن الشركة تركز حاليًا على تحسين نماذج توليد الصور والفيديو. استخدمت شركات مثل السيناريو و Photoroom خدمات Pruna AI.
بالإضافة إلى الإصدار المفتوح المصدر ، أطلقت Pruna AI أيضًا إصدارًا للمؤسسة يتضمن ميزات تحسين متقدمة ووكيل تحسين. "الميزة الأكثر إثارة التي نحن على وشك إصدارها هي وكيل الضغط ، حيث يحتاج المستخدمون فقط إلى توفير النموذج وضبط متطلبات السرعة والدقة ، وسيجد الوكيل تلقائيًا أفضل مجموعة ضغط."
تتقاضى Pruna AI رسومًا بالساعة ، على غرار كيفية استئجار المستخدمين في وحدات معالجة الرسومات على الخدمات السحابية. باستخدام النماذج المحسنة ، يمكن للشركات توفير الكثير من المال عند التفكير. على سبيل المثال ، نجحت Pruna AI في تقليل حجم نموذج LLAMA بثمانية مرات ، مع فقدان القليل من الدقة. وتأمل الشركة أن يتمكن العملاء من رؤية إطار الضغط الخاص بها كاستثمار يحصل في النهاية على عائدات.
في الآونة الأخيرة ، أكملت Pruna AI تمويل البذور بقيمة 6.5 مليون دولار ، مع المستثمرين بما في ذلك EQT Ventures و Daphni و Motier Ventures و Kima Ventures.
المشروع: https://github.com/prunaai/pruna
النقاط الرئيسية:
تطلق Pruna AI إطار عمل تحسين المصدر مفتوح المصدر يجمع بين طرق ضغط متعددة لتحسين أداء نماذج الذكاء الاصطناعي.
غالبًا ما تستخدم الشركات الكبيرة التقطير والتقنيات الأخرى ، وتوفر Pruna AI أدوات تدمج طرقًا متعددة لتبسيط عملية الاستخدام.
يدعم Enterprise Edition الميزات المتقدمة لمساعدة المستخدمين على تحقيق ضغط النماذج وتحسين الأداء مع الحفاظ على الدقة.