fishpal
1.0.0
تظهر نماذج اللغة الكبيرة (LLMS) فهمًا رائعًا للغة الطبيعية عبر المهام. مع زيادة حجم نموذج اللغة ، يصبح تكييفها مع مهام محددة مكلفة حسابيًا. تم اقتراح التعلم داخل السياق كبديل للضغط القياسي لـ LLMS. ومع ذلك ، فإن المطالبة عمومًا بالضغط القياسي. أيضًا ، فإن العثور على أفضل المطالبات ليس واضحًا ، حيث أن العملية هشة على سبيل المثال ، لصياغة المطالبة وعدد الأمثلة. لمعالجة هذه المشكلات ، تم اقتراح التثبيت الدقيق الكفاءة (PEFT). يضيف هذا النموذج مكونات معيارية إلى نموذج تم تدريبه مسبقًا ؛ يتم ضبطها على المهمة المستهدفة بينما لم يتم تحديث LLM. تكرس مكونات PEFT قدرة لكل المهام وتسمح بتحديث نموذج دون نسيان المعرفة السابقة ، في حين أن تكوين هذه الوحدات يمكن أن يحسن قدرات المهام متعددة المهام في LLM. يمكن أن تصل PEFT إلى أداء الضبط الدقيق القياسي. وقد حفز هذا البحث في هذا المجال وتم اقتراح عدد كبير من الأساليب مؤخرًا. ومع ذلك ، لتقييم المقاربة المعيارية المناسبة لمجموعة من المهام ، هناك حاجة إلى تجربة مع نهج معيارية محددة لكل مهمة. غالبًا ما يتطلب هذا البحث الشامل على الأساليب وفرط الأدوات ، وهو أمر صعب في الممارسة. تقترح هذه الدراسة معيارًا جديدًا ، استنادًا إلى مصفوفة معلومات Fisher ، لتحديد نهج PEFT الذي يجب استخدامه لتكييف LLM مع مهمة محددة. إن الرواية A Prepori Fisher المطلع على صناديق البادئة والمحولات و Lora للمحولات ، Phishpal ، تتجنب تجارب التدريب المكلفة وتدرب مزيجًا واحدًا لكل مهمة. في تجارب هذه الأطروحة ، يتفوق Pishpal باستمرار على خطوط الأساس على مهام الغراء المختلفة مع تحديث 2-4 ٪ فقط من إجمالي معلمات النموذج وإضافة 0.4 ٪ فقط من معلمات النموذج الأساسي أثناء الاستدلال.
تم إجراء جميع التجارب على 1 Google Cloud GPU (NVIDIA T4 GPU مع 4VCPUS و RAM 15 جيجابايت في المنطقة US-WEST3-B)
