Zemi

纸Zemi的代码：从多个任务[ACL 2023调查结果]学习零射击半参数语言模型

准备数据集

可以在此处找到有关下载预处理数据集和预处理服装数据集的说明

下载检查点

从：https：//uofi.box.com/s/wnt6cv7icuir4q3wb2a6viuyklme5dga下载checkpoints 。将检查点目录放在zemi/output/p3_finetuning下的checkpoints中

设置环境

使用conda env create -f environment.yml 。运行accelerate config以配置设备。

快速开始

表1中重现主要结果的脚本：执行（半）参数多任务促使培训和零射门评估。有关配置的详细说明，请参见此处。所有脚本都应在zemi/下运行。 SETUP_ENV.sh将在以下脚本中调用以设置env变量。如果不使用与上述设置完全相同的文件夹结构，则可以修改变量。

没有8月的基线

• 基础： bash ./training/no_aug_base.sh
• 大： bash ./training/no_aug_large.sh

Concat基线

• 基础： bash ./training/concat_base.sh
• 大： bash ./training/concat_large.sh

FID基线

• 基础： bash ./training/fid_base.sh
• 大： bash ./training/fid_large.sh

Zemi

• 基础： bash ./training/zemi_base.sh zemi_base.sh
• 大： bash ./training/zemi_large.sh

源代码的简要说明

• 模型体系结构的代码： zemi/modeling_t5.py来自此行和zemi/modeling_xattn.py
• 多任务培训的代码：
  • 火车没有AUG和CONCAT基线： zemi/multi_task_fine_tune_baseline.py
  • 火车FID基线和ZEMI： zemi/multi_task_fine_tune_xattn.py
• 零射门评估的代码：
  • 评估没有AUG和CONCAT基线： zemi/eval_original_task_only.py
  • eval FID基线和Zemi： zemi/eval_original_task_only_xattn.py

检索文档的可视化

visualization/包含每个任务检索的文档的示例。我们包括在visualization/top50_highest_score_retrieval_instances和visualization/top50_lowest_score_retrieval_instances中包括最高和最低BM25分数的前50个示例。我们还包括每个数据集的前50个实例，而无需在visualization/first50_retrieval_instances中重新排序。

引用

 @article{wang2022zemi,
  title={Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks},
  author={Wang, Zhenhailong and Pan, Xiaoman and Yu, Dian and Yu, Dong and Chen, Jianshu and Ji, Heng},
  journal={arXiv preprint arXiv:2210.00185},
  year={2022}
}