مع التطور السريع لتكنولوجيا الذكاء الاصطناعي ، يواجه المطورون ومؤسسات البحث العديد من التحديات ، بما في ذلك تكاليف الحوسبة المرتفعة ، وقضايا الكمون ، وعدم وجود نماذج مصدر مفتوحة مرنة حقًا. لا تحد هذه المشكلات من التقدم التكنولوجي فحسب ، بل تجعل من الصعب أيضًا على العديد من الحلول الموجودة في التطبيقات العملية. خاصة في السيناريوهات التي تتطلب فيها الحوسبة الفعالة والكمون المنخفض ، تميل النماذج الحالية إلى الاعتماد على البنية التحتية السحابية باهظة الثمن أو غير قادرة على التشغيل على الأجهزة المحلية بسبب حجمها. لذلك ، يحتاج السوق بشكل عاجل إلى نموذج جديد يمكن أن يعمل بكفاءة ويكون مرنًا.
للتعامل مع هذا الطلب ، أطلقت Reka AI Reka Flash3 ، وهو نموذج استنتاج تم تصميمه من نقطة الصفر مع 2.1 مليار معلمة. الهدف من هذا النموذج هو دعم مجموعة متنوعة من سيناريوهات التطبيق ، بما في ذلك المحادثات العامة ، ومساعدة الترميز ، ومتابعة التعليمات ، ومكالمات الوظائف. تجمع عملية تدريب Reka Flash3 بين مجموعات البيانات العامة ومجموعات البيانات الاصطناعية ، ويتم تنفيذ التعلم التعزيز من خلال ضبط تعليمات دقيق وتعزيز طريقة إجازة (RLOO). تضمن طريقة التدريب هذه أن النموذج يلفت التوازن بين القدرة والكفاءة ، مما يجعله يبرز بين العديد من النماذج المماثلة.
على المستوى التقني ، لدى Reka Flash3 العديد من الميزات المبتكرة التي تجعلها رائعة في المرونة وكفاءة الموارد. أولاً ، يكون النموذج قادرًا على التعامل مع أطوال السياق التي تصل إلى 32 ألف رموز ، مما يجعل من السهل التعامل مع المستندات الأطول والمهام المعقدة دون تحميل النظام. ثانياً ، يقدم Reka Flash3 آلية "إلزامية الميزانية" ، من خلال علامة <Suleding> محددة ، يمكن للمستخدمين الحد من خطوات عملية التفكير في النموذج ، وبالتالي الحفاظ على أداء ثابت دون زيادة النفقات العامة الحسابية. بالإضافة إلى ذلك ، يعد النموذج مثاليًا للنشر على الأجهزة ، بحجم دقة كاملة قدرها 39 جيجابايت (FP16) ، والتي يمكن ضغطها إلى 11 جيجابايت مع كمية 4 بت. هذه المرونة تجعل Reka Flash3 أكثر مرونة عند نشرها محليًا ، مما يمنحها ميزة على نماذج أكبر وكثافة موارد.
انطلاقًا من مقاييس التقييم وبيانات الأداء ، يقوم Reka Flash3 بعمل جيد في التطبيقات العملية. على سبيل المثال ، على الرغم من أنها سجلت 65.0 في اختبار MMLU-PRO وأداءها بشكل معتدل ، لا يمكن التقليل من قدرتها التنافسية بعد الجمع بين مصادر المعرفة الإضافية مثل البحث على الويب. بالإضافة إلى ذلك ، كان أداء Reka Flash3 جيدًا أيضًا في إمكانات متعددة اللغات ، حيث سجل 83.2 في اختبار المذنب WMT'23 ، مما يدل على دعمه المعقول للمدخلات غير الإنجليزية ، على الرغم من أنه يركز بشكل أساسي على اللغة الإنجليزية. هذه النتائج ، إلى جانب عدد المعلمات الفعالة بالنسبة لأقرانها مثل QWQ-32B ، تبرز إمكاناتها في التطبيقات العملية.
لتلخيص ، يمثل Reka Flash3 حل AI أكثر سهولة. من خلال توازن ذكي بين الأداء والكفاءة ، يوفر النموذج خيارًا قويًا ومرنًا لمهام الدردشة العامة والترميز والتعليمات العامة. إن تصميمه المدمج ، وإحداث نافذة سياق رمزية 32 ألف وآلية إلزامية مبتكرة للميزانية تجعلها خيارًا عمليًا لنشر الجهاز والتطبيقات المنخفضة للانتشار. يوفر Reka Flash3 بلا شك أساسًا مثيرًا للباحثين والمطورين الذين يبحثون عن كل من النماذج المختصة التي يمكن التحكم فيها.
لمعرفة المزيد حول Reka Flash3 ، يرجى زيارة الرابط التالي:
مقدمة: https://www.reka.ai/news/introducing-reka-flash
النموذج: https://huggingface.co/Rekaai/Reka-Flash-3