Zemi

Código para papel Zemi: Aprendendo modelos de linguagem semi-paramétricos zero-tiro de várias tarefas [achados da ACL 2023]

Prepare conjuntos de dados

Instruções sobre o download de conjuntos de dados pré -processados ​​e conjuntos de dados de fantasia pré -prática podem ser encontrados aqui

Baixar pontos de verificação

Faça o download checkpoints de: https://uofi.box.com/s/wnt6cv7icuir4q3wb2a6viuyklme5dga. Coloque os diretórios dos pontos de verificação em checkpoints em zemi/output/p3_finetuning

Ambiente de configuração

Configure o ambiente do CONDA com conda env create -f environment.yml . Execute accelerate config para configurar o dispositivo.

Início rápido

Scripts para reproduzir os principais resultados na Tabela 1: executando (semi-) multitarefa paramétrica solicitou treinamento e avaliação de tiro zero. Instruções detalhadas sobre as configurações podem ser encontradas aqui. Todos os scripts devem ser executados em zemi/ . SETUP_ENV.sh será chamado nos seguintes scripts para configurar variáveis ​​ENV. Pode -se modificar as variáveis ​​se não estiver usando exatamente a mesma estrutura de pasta da configuração acima.

Sem linha de base de Aug

• Base: bash ./training/no_aug_base.sh
• grande: bash ./training/no_aug_large.sh

Linha de base concat

• Base: bash ./training/concat_base.sh
• grande: bash ./training/concat_large.sh

Fid Baseline

• Base: bash ./training/fid_base.sh
• grande: bash ./training/fid_large.sh

Zemi

• Base: bash ./training/zemi_base.sh
• grande: bash ./training/zemi_large.sh

Breve descrição do código -fonte

• Código para a arquitetura do modelo: zemi/modeling_t5.py desta linha e zemi/modeling_xattn.py
• Código para treinamento multitarefa:
  • Treine No Aug e Concat Baseline: zemi/multi_task_fine_tune_baseline.py
  • Treine FID Baseline e Zemi: zemi/multi_task_fine_tune_xattn.py
• Código para avaliação de tiro zero:
  • Eval No Aug e Concat Baseline: zemi/eval_original_task_only.py
  • Eval Fid Baseline e Zemi: zemi/eval_original_task_only_xattn.py

Visualização dos documentos recuperados

visualization/ contém exemplos dos documentos recuperados para cada tarefa. Incluímos os 50 principais exemplos com as pontuações BM25 mais altas e mais baixas em visualization/top50_highest_score_retrieval_instances e visualization/top50_lowest_score_retrieval_instances . Também incluímos as primeiras 50 instâncias para cada conjunto de dados sem reordenar em visualization/first50_retrieval_instances .

Citação

 @article{wang2022zemi,
  title={Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks},
  author={Wang, Zhenhailong and Pan, Xiaoman and Yu, Dian and Yu, Dong and Chen, Jianshu and Ji, Heng},
  journal={arXiv preprint arXiv:2210.00185},
  year={2022}
}