glider

؟ طائرة شراعية: جهاز توجيه خبراء يعتمد على التعليمات العالمية والمحلية

الكود الرسمي للورقة " طائرة شراعية: جهاز توجيه خبراء يعتمد على التعليمات العالمية والمحلية ". قاعدة كودنا مبنية على phatgoose.

• المؤلفون (*مساهمة متساوية): بينغزي لي*، بريتيك ياداف*، جايهونغ يون ، جي بينغ ، يي لين سونغ ، موهيت بانسال وتيانلونج تشن
• ورقة: Arxiv
• نقاط التفتيش: Huggingface

GLIDER -Solve-in-in/-out مهام مع مجموعة من الخبراء المتخصصين مثل Lora في نفس الوقت!

I. الملخص

أدى توفر النماذج المدربة مسبقًا الأداء إلى انتشار نماذج الخبراء التي يتم ضبطها متخصصة في مجالات معينة. وقد مكن ذلك من إنشاء أساليب "Modelging Moderging" القوية والتكيفية بهدف استخدام وحدات الخبراء لإنشاء نظام إجمالي مع تحسين الأداء أو التعميم. ومع ذلك ، غالبًا ما تعطي أساليب Moerging الحالية تعميمًا على المهام غير المرئية على حساب الأداء في المهام التي تحد ، مما يحد من قابلية تطبيقه العملي في سيناريوهات نشر العالم الحقيقي. نلاحظ أن آليات التوجيه على مستوى الرمز المميز الحالي تهمل السياق الدلالي العالمي لمهمة الإدخال. هذا الاستقلال المميز يعيق اختيار الخبراء الفعال للمهام المحتفظ به ، حيث تفشل قرارات التوجيه في دمج الخصائص الدلالية للمهمة. لمعالجة هذا ، نقترح ، جهاز توجيه خبير تعليمي عالمي ومحلي (طائرة شراعية) يدمج آلية توجيه متعددة النطاق ، يشمل جهاز توجيه عالمي دلالي وجهاز توجيه محلي مستفاد. يقوم جهاز التوجيه العالمي بتعزيز قدرات التفكير المتقدم لـ LLM للسياقات ذات الصلة الدلالية لتعزيز اختيار الخبراء. بالنظر إلى استعلام الإدخال و LLM ، يقوم جهاز التوجيه بإنشاء تعليمات مهمة دلالية توجه استرجاع الخبراء الأكثر أهمية في جميع الطبقات. يتم استكمال هذا التوجيه العالمي من قبل جهاز توجيه محلي يسهل قرارات التوجيه على مستوى الرمز المميز داخل كل وحدة ، مما يتيح التحكم الدقيق وتعزيز الأداء في المهام غير المرئية. توضح تجاربنا باستخدام النماذج المستندة إلى T5 لمهام T0 و Flan أن طائرة شراعية تحقق أداءً محسّنًا بشكل كبير مع الحفاظ على التعميم القوي على المهام القصيدة. نقوم أيضًا بإجراء تجارب بذور الغوص بشكل أعمق في مكونات طائرة شراعية. تسلط تجاربنا الضوء على أهمية التوجيه متعدد النطاق لدينا الذي يعزز التفكير الدلالي الذي يحركه LLM لطرق Moerging.

الثاني. تثبيت

conda create -n glider python=3.9
conda activate glider
conda install git-lfs
pip install -r requirements.txt
pip uninstall peft -y

ثالثا. إعداد البيانات

 cd src && mkdir saved_runs && cd saved_runs
git lfs install
# Glider LLM-Generated task embeddings
git clone https://huggingface.co/MoE-UNC/gpt-generated-instruction-nomic-embeddings
# P3 LoRA checkpoints (derived from Phatgoose)
git clone https://huggingface.co/MoE-UNC/p3-lora-checkpoints
# FLAN LoRA checkpoints (derived from Phatgoose)
git clone https://huggingface.co/MoE-UNC/flan-lora-checkpoints
# Baseline- Arrow checkpoints
git clone https://huggingface.co/MoE-UNC/p3-lora-checkpoints-arrow
# Baseline - Merged Experts checkpoints (derived from Phatgoose)
git clone https://huggingface.co/MoE-UNC/phatgoose-checkpoints

رابعا. استنساخ النتائج

يرجى التحقق من الأوامر والتعليقات في src/scripts/paper-eval.sh لاستنساخ النتائج.

خامسا الاقتباس

 @misc { li2024glidergloballocalinstructiondriven ,
      title = { Glider: Global and Local Instruction-Driven Expert Router } , 
      author = { Pingzhi Li and Prateek Yadav and Jaehong Yoon and Jie Peng and Yi-Lin Sung and Mohit Bansal and Tianlong Chen } ,
      year = { 2024 } ,
      eprint = { 2410.07172 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.LG } ,
      url = { https://arxiv.org/abs/2410.07172 } , 
}