علم محرر Downcodes أن Tencent Youtu Lab تعاون مع فريق البحث بجامعة Shanghai Jiao Tong لتطوير طريقة رائعة لتعزيز المعرفة، والتي أحدثت تغييرات ثورية في تحسين النماذج الكبيرة. لا تتطلب هذه الطريقة ضبطًا دقيقًا للنموذج التقليدي، فهي تستخرج المعرفة مباشرة من البيانات مفتوحة المصدر، وتبسط عملية التحسين بشكل كبير، وتتفوق على أحدث التقنيات (SOTA) في مهام متعددة. تحل هذه التقنية المبتكرة بشكل فعال مشكلة اعتماد أساليب الضبط الدقيق للنماذج التقليدية على كميات كبيرة من البيانات المشروحة وموارد الحوسبة، وتوفر إمكانيات جديدة للترويج للنماذج الكبيرة في التطبيقات العملية.
أطلق Tencent Youtu Lab وفريق البحث من جامعة Shanghai Jiao Tong بشكل مشترك طريقة ثورية لتعزيز المعرفة، مما فتح طريقًا جديدًا لتحسين النماذج الكبيرة. تتخلى هذه التقنية المبتكرة عن قيود الضبط الدقيق للنموذج التقليدي، وتستخرج المعرفة مباشرة من البيانات مفتوحة المصدر، وتبسط إلى حد كبير عملية تحسين النموذج، وتحقق أداءً متميزًا يتجاوز أحدث التقنيات (SOTA) في مهام متعددة.
في السنوات الأخيرة، على الرغم من أن النماذج اللغوية الكبيرة (LLMs) حققت تقدمًا كبيرًا في مختلف المجالات، إلا أنها لا تزال تواجه العديد من التحديات في التطبيقات العملية. تتطلب أساليب الضبط الدقيق للنماذج التقليدية كمية كبيرة من البيانات المشروحة وموارد الحوسبة، وهو ما يصعب تحقيقه في كثير من الأحيان بالنسبة للعديد من الشركات العملية. على الرغم من أن مجتمع المصادر المفتوحة يوفر ثروة من نماذج الضبط الدقيق ومجموعات بيانات التعليمات، إلا أن كيفية الاستخدام الفعال لهذه الموارد وتحسين قدرات المهام وأداء التعميم للنموذج مع عينات محددة ذات علامات محدودة كانت دائمًا مشكلة تواجهها الصناعة.
ردًا على هذه المشكلة، اقترح فريق البحث إطارًا تجريبيًا جديدًا يركز على استخدام المعرفة مفتوحة المصدر لتعزيز قدرات النموذج في ظل حالة بيانات الأعمال الحقيقية التي تحمل علامة K-shot. يستفيد إطار العمل هذا بشكل كامل من قيمة العينات المحدودة ويوفر تحسينات في الأداء لنماذج اللغات الكبيرة في المهام الاتجاهية.
وتشمل الابتكارات الأساسية لهذا البحث ما يلي:
اختيار نموذج فعال: تعظيم إمكانات النماذج الحالية في ظل ظروف بيانات محدودة من خلال التقييم الشامل لحيرة الاستدلال وأداء النموذج وثراء المعرفة.
تحسين استخراج المعرفة: تم تصميم طريقة لاستخراج المعرفة ذات الصلة من البيانات مفتوحة المصدر من خلال استراتيجية فحص البيانات التي توازن بين التشابه والتنوع، وتوفر معلومات تكميلية للنموذج مع تقليل مخاطر التجاوز.
نظام النموذج التكيفي: تم إنشاء نظام تكيفي يعتمد على هيكل نموذج خبير هجين لتحقيق تكامل المعرفة بين النماذج الفعالة المتعددة وتحسين الأداء العام.
خلال المرحلة التجريبية، أجرى فريق البحث تقييمًا شاملاً باستخدام ست مجموعات بيانات مفتوحة المصدر. تظهر النتائج أن هذه الطريقة الجديدة تتفوق على خطوط الأساس وغيرها من الأساليب الحديثة في مختلف المهام. ومن خلال تصور أنماط تنشيط الخبراء، وجدت الدراسة أيضًا أن مساهمة كل خبير في النموذج أمر لا غنى عنه، مما يؤكد فعالية الطريقة.
لا يوضح هذا البحث الإمكانات الهائلة للمعرفة مفتوحة المصدر في مجال النماذج الكبيرة فحسب، بل يقدم أيضًا أفكارًا جديدة للتطوير المستقبلي لتكنولوجيا الذكاء الاصطناعي. إنه يكسر القيود المفروضة على تحسين النموذج التقليدي ويوفر حلاً ممكنًا للمؤسسات والمؤسسات البحثية لتحسين أداء النموذج في ظل موارد محدودة.
ومع استمرار تحسين هذه التكنولوجيا وتعزيزها، لدينا سبب للاعتقاد بأنها ستلعب دورًا مهمًا في التطوير الذكي لمختلف الصناعات. ولا يعد هذا التعاون بين Tencent Youtu وجامعة Shanghai Jiao Tong نموذجًا للتعاون بين الأوساط الأكاديمية والصناعة فحسب، بل يعد أيضًا خطوة مهمة في تعزيز تكنولوجيا الذكاء الاصطناعي إلى مستوى أعلى.
عنوان الورقة: https://www.arxiv.org/pdf/2408.15915
توفر نتيجة البحث هذه فكرة جديدة وحلاً ممكنًا لتحسين النماذج الكبيرة، فهي تتمتع بإمكانات هائلة في التطبيقات العملية وتستحق التطلع إلى مزيد من التطبيقات والتطوير في المستقبل. سيستمر محرر Downcodes في الاهتمام بأحدث التطورات في هذا المجال وتقديم المزيد من التقارير المثيرة للقراء.