Zemi

紙Zemi的代碼：從多個任務[ACL 2023調查結果]學習零射擊半參數語言模型

準備數據集

可以在此處找到有關下載預處理數據集和預處理服裝數據集的說明

下載檢查點

從：https：//uofi.box.com/s/wnt6cv7icuir4q3wb2a6viuyklme5dga下載checkpoints 。將檢查點目錄放在zemi/output/p3_finetuning下的checkpoints中

設置環境

使用conda env create -f environment.yml 。運行accelerate config以配置設備。

快速開始

表1中重現主要結果的腳本：執行（半）參數多任務促使培訓和零射門評估。有關配置的詳細說明，請參見此處。所有腳本都應在zemi/下運行。 SETUP_ENV.sh將在以下腳本中調用以設置env變量。如果不使用與上述設置完全相同的文件夾結構，則可以修改變量。

沒有8月的基線

• 基礎： bash ./training/no_aug_base.sh
• 大： bash ./training/no_aug_large.sh

Concat基線

• 基礎： bash ./training/concat_base.sh
• 大： bash ./training/concat_large.sh

FID基線

• 基礎： bash ./training/fid_base.sh
• 大： bash ./training/fid_large.sh

Zemi

• 基礎： bash ./training/zemi_base.sh zemi_base.sh
• 大： bash ./training/zemi_large.sh

源代碼的簡要說明

• 模型體系結構的代碼： zemi/modeling_t5.py來自此行和zemi/modeling_xattn.py
• 多任務培訓的代碼：
  • 火車沒有AUG和CONCAT基線： zemi/multi_task_fine_tune_baseline.py
  • 火車FID基線和ZEMI： zemi/multi_task_fine_tune_xattn.py
• 零射門評估的代碼：
  • 評估沒有AUG和CONCAT基線： zemi/eval_original_task_only.py
  • eval FID基線和Zemi： zemi/eval_original_task_only_xattn.py

檢索文檔的可視化

visualization/包含每個任務檢索的文檔的示例。我們包括在visualization/top50_highest_score_retrieval_instances和visualization/top50_lowest_score_retrieval_instances中包括最高和最低BM25分數的前50個示例。我們還包括每個數據集的前50個實例，而無需在visualization/first50_retrieval_instances中重新排序。

引用

 @article{wang2022zemi,
  title={Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks},
  author={Wang, Zhenhailong and Pan, Xiaoman and Yu, Dian and Yu, Dong and Chen, Jianshu and Ji, Heng},
  journal={arXiv preprint arXiv:2210.00185},
  year={2022}
}