Zemi

رمز للورق Zemi: تعلم نماذج لغة شبه براريامية من الصفر من مهام متعددة [نتائج ACL 2023]

إعداد مجموعات البيانات

يمكن العثور على التعليمات حول تنزيل مجموعات البيانات المعالجة مسبقًا ومجموعات بيانات الأزياء المسبقة هنا

قم بتنزيل نقاط التفتيش

قم بتنزيل checkpoints من: ضع أدلة نقاط التفتيش في checkpoints تحت zemi/output/p3_finetuning

بيئة الإعداد

قم بإعداد بيئة كوندا مع conda env create -f environment.yml . تشغيل accelerate config لتكوين الجهاز.

بداية سريعة

البرامج النصية لإعادة إنتاج النتائج الرئيسية في الجدول 1: أداء المهام المتعددة البارامترية (SAMI-) دفع التدريب وتقييم الصفر. يمكن العثور على تعليمات مفصلة حول التكوينات هنا. يجب تشغيل جميع البرامج النصية تحت zemi/ . سيتم استدعاء SETUP_ENV.sh في البرامج النصية التالية لإعداد متغيرات ENV. يمكن للمرء تعديل المتغيرات إن لم يكن باستخدام هيكل المجلد نفسه بالضبط كما هو الإعداد أعلاه.

لا خط الأساس AUG

• القاعدة: bash ./training/no_aug_base.sh
• كبير: bash ./training/no_aug_large.sh

خط الأساس

• القاعدة: bash ./training/concat_base.sh
• كبير: bash ./training/concat_large.sh

خط الأساس

• القاعدة: bash ./training/fid_base.sh
• كبير: bash ./training/fid_large.sh

زيمي

• القاعدة: bash ./training/zemi_base.sh
• كبير: bash ./training/zemi_large.sh

وصف موجز للرمز المصدر

• رمز لعمارة النموذج: zemi/modeling_t5.py من هذا السطر و zemi/modeling_xattn.py
• رمز التدريب متعدد المهام:
  • لا يتدرب أي Aug و Crocat الأساس: zemi/multi_task_fine_tune_baseline.py
  • خط الأساس في القطار و zemi: zemi/multi_task_fine_tune_xattn.py
• رمز لتقييم الصفر:
  • eval no Aug and Concat Baseline: zemi/eval_original_task_only.py
  • Eval Fid Baseline و Zemi: zemi/eval_original_task_only_xattn.py

تصور المستندات المستردة

visualization/ يحتوي على أمثلة على المستندات المستردة لكل مهمة. نقوم بتضمين أفضل 50 أمثلة مع أعلى وأدنى درجات BM25 في visualization/top50_highest_score_retrieval_instances و visualization/top50_lowest_score_retrieval_instances . نقوم أيضًا بتضمين أول 50 حالة لكل مجموعة بيانات دون إعادة ترتيب visualization/first50_retrieval_instances .

اقتباس

 @article{wang2022zemi,
  title={Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks},
  author={Wang, Zhenhailong and Pan, Xiaoman and Yu, Dian and Yu, Dong and Chen, Jianshu and Ji, Heng},
  journal={arXiv preprint arXiv:2210.00185},
  year={2022}
}