Zemi

Code für Papier ZEMI: Lernen von semi-parametrischen Sprachmodellen mit Zero-Shot aus mehreren Aufgaben [ACL 2023-Ergebnisse]

Datensätze vorbereiten

Anweisungen zum Herunterladen vorbereiteter Datensätze und zum Vorab -Kostüm -Datensätzen finden Sie hier

Laden Sie Kontrollpunkte herunter

Laden Sie checkpoints von: https://uofi.box.box/s/wnt6cv7icuir4q3wb2a6viuyklme5dga herunter. Legen Sie die Kontrollpunkte in checkpoints unter zemi/output/p3_finetuning

Setup -Umgebung

Richten Sie Conda Environment mit conda env create -f environment.yml . Führen Sie accelerate config aus, um das Gerät zu konfigurieren.

Schneller Start

Skripte zur Reproduktion der Hauptergebnisse in Tabelle 1: Durchführung (semi-) parametrische Multitasking führte zum Training und der Null-Shot-Bewertung auf. Detaillierte Anweisungen zu den Konfigurationen finden Sie hier. Alle Skripte sollten unter zemi/ ausgeführt werden. SETUP_ENV.sh wird in den folgenden Skripten aufgerufen, um Env -Variablen einzurichten. Man kann die Variablen ändern, wenn nicht die exakt gleiche Ordnerstruktur wie oben eingerichtet wird.

Keine AUG -Grundlinie

• Basis: bash ./training/no_aug_base.sh
• groß: bash ./training/no_aug_large.sh

Basislinie concat

• Basis: bash ./training/concat_base.sh
• groß: bash ./training/concat_large.sh

FID -Grundlinie

• Basis: bash ./training/fid_base.sh
• groß: bash ./training/fid_large.sh

Zemi

• Basis: bash ./training/zemi_base.sh
• groß: bash ./training/zemi_large.sh

Kurze Beschreibung des Quellcode

• Code für die Modellarchitektur: zemi/modeling_t5.py aus dieser Zeile und zemi/modeling_xattn.py
• Code für Multitasking -Training:
  • Train no AG und CONCAT -Basislinie: zemi/multi_task_fine_tune_baseline.py
  • Zug -FID -Basislinie und Zemi: zemi/multi_task_fine_tune_xattn.py
• Code für Null-Shot-Bewertung:
  • Eval No Aug und CONCAT -Basislinie: zemi/eval_original_task_only.py
  • Eval FID -Baseline und Zemi: zemi/eval_original_task_only_xattn.py

Visualisierung der abgerufenen Dokumente

visualization/ Enthält Beispiele für die abgerufenen Dokumente für jede Aufgabe. Wir enthalten die Top 50 Beispiele mit den höchsten und niedrigsten BM25 -Ergebnissen in visualization/top50_highest_score_retrieval_instances und visualization/top50_lowest_score_retrieval_instances . Wir fügen auch die ersten 50 Instanzen für jeden Datensatz ein, ohne in visualization/first50_retrieval_instances neu zu ordnen.

Zitat

 @article{wang2022zemi,
  title={Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks},
  author={Wang, Zhenhailong and Pan, Xiaoman and Yu, Dian and Yu, Dong and Chen, Jianshu and Ji, Heng},
  journal={arXiv preprint arXiv:2210.00185},
  year={2022}
}