Zemi

Code pour papier zemi: apprentissage des modèles de langage semi-paramétrique à tirs zéro à partir de plusieurs tâches [Résultats de l'ACL 2023]

Préparer des ensembles de données

Les instructions sur le téléchargement des ensembles de données prétraités et des ensembles de données de costum de préparation peuvent être trouvés ici

Télécharger les points de contrôle

Téléchargez checkpoints depuis: https://uofi.box.com/s/wnt6cv7icuir4q3wb2a6viuyklme5dga. Mettez les répertoires de points de contrôle dans checkpoints sous zemi/output/p3_finetuning

Environnement de configuration

Configurez un environnement conda avec conda env create -f environment.yml . Exécutez accelerate config pour configurer le périphérique.

Démarrage rapide

Scripts pour reproduire les principaux résultats du tableau 1: effectuer (semi-) paramétrique multitâche invité à la formation et à l'évaluation zéro-shot. Des instructions détaillées sur les configurations peuvent être trouvées ici. Tous les scripts doivent être exécutés sous zemi/ . SETUP_ENV.sh sera appelé dans les scripts suivants pour configurer les variables env. On peut modifier les variables si vous n'utilisez pas exactement la même structure de dossier que la configuration ci-dessus.

Pas de référence en août

• base: bash ./training/no_aug_base.sh
• grand: bash ./training/no_aug_large.sh

Concat Baseline

• base: bash ./training/concat_base.sh
• grand: bash ./training/concat_large.sh

FID BASELINE

• base: bash ./training/fid_base.sh
• grand: bash ./training/fid_large.sh

Zémi

• base: bash ./training/zemi_base.sh
• grand: bash ./training/zemi_large.sh

Brève description du code source

• Code de l'architecture du modèle: zemi/modeling_t5.py à partir de cette ligne et zemi/modeling_xattn.py
• Code pour la formation multitâche:
  • Train no AUG et CONCAT BASELINE: zemi/multi_task_fine_tune_baseline.py
  • Train FID Baseline et Zemi: zemi/multi_task_fine_tune_xattn.py
• Code pour l'évaluation des coups zéro:
  • EVAL NO AUG ET CONCAT BASELINE: zemi/eval_original_task_only.py
  • Eval Fid Baseline et Zemi: zemi/eval_original_task_only_xattn.py

Visualisation des documents récupérés

visualization/ Contient des exemples des documents récupérés pour chaque tâche. Nous incluons les 50 principaux exemples avec les scores BM25 les plus élevés et les plus bas dans visualization/top50_highest_score_retrieval_instances et visualization/top50_lowest_score_retrieval_instances . Nous incluons également les 50 premières instances pour chaque ensemble de données sans réorganiser dans visualization/first50_retrieval_instances .

Citation

 @article{wang2022zemi,
  title={Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks},
  author={Wang, Zhenhailong and Pan, Xiaoman and Yu, Dian and Yu, Dong and Chen, Jianshu and Ji, Heng},
  journal={arXiv preprint arXiv:2210.00185},
  year={2022}
}