Zemi

Kode untuk kertas zemi: belajar model bahasa semi-parametrik zero-shot dari beberapa tugas [Temuan ACL 2023]

Siapkan set data

Instruksi tentang Mengunduh Dataset Preproses dan Dataset Kostum Prepraring Dapat Ditemukan Di Sini

Unduh pos pemeriksaan

Unduh checkpoints dari: https://uofi.box.com/s/wnt6cv7icuir4q3wb2a6viuyklme5dga. Letakkan direktori pos pemeriksaan di checkpoints di bawah zemi/output/p3_finetuning

Lingkungan Pengaturan

Siapkan lingkungan Conda dengan conda env create -f environment.yml . Jalankan accelerate config untuk mengonfigurasi perangkat.

Awal yang cepat

Skrip untuk mereproduksi hasil utama pada Tabel 1: Melakukan (semi-) Parametrik multitask mendorong pelatihan dan evaluasi nol-shot. Instruksi terperinci tentang konfigurasi dapat ditemukan di sini. Semua skrip harus dijalankan di bawah zemi/ . SETUP_ENV.sh akan dipanggil dalam skrip berikut untuk mengatur variabel env. Seseorang dapat memodifikasi variabel jika tidak menggunakan struktur folder yang sama persis dengan pengaturan di atas.

Tidak ada baseline AUG

• Pangkalan: bash ./training/no_aug_base.sh
• Besar: bash ./training/no_aug_large.sh

Concat Baseline

• Pangkalan: bash ./training/concat_base.sh
• Besar: bash ./training/concat_large.sh

Baseline FID

• Pangkalan: bash ./training/fid_base.sh
• Besar: bash ./training/fid_large.sh

Zemi

• Pangkalan: bash ./training/zemi_base.sh
• Besar: bash ./training/zemi_large.sh

Deskripsi singkat tentang kode sumber

• Kode untuk arsitektur model: zemi/modeling_t5.py dari baris ini dan zemi/modeling_xattn.py
• Kode untuk pelatihan multitask:
  • Latih No Aug dan Concat Baseline: zemi/multi_task_fine_tune_baseline.py
  • Latih FID Baseline dan Zemi: zemi/multi_task_fine_tune_xattn.py
• Kode Evaluasi Zero-Shot:
  • Eval No Aug dan Concat Baseline: zemi/eval_original_task_only.py
  • Eval Fid Baseline dan Zemi: zemi/eval_original_task_only_xattn.py

Visualisasi dokumen yang diambil

visualization/ Berisi contoh dokumen yang diambil untuk setiap tugas. Kami menyertakan 50 contoh teratas dengan skor BM25 tertinggi dan terendah dalam visualization/top50_highest_score_retrieval_instances dan visualization/top50_lowest_score_retrieval_instances . Kami juga menyertakan 50 instance pertama untuk setiap dataset tanpa memesan ulang dalam visualization/first50_retrieval_instances .

Kutipan

 @article{wang2022zemi,
  title={Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks},
  author={Wang, Zhenhailong and Pan, Xiaoman and Yu, Dian and Yu, Dong and Chen, Jianshu and Ji, Heng},
  journal={arXiv preprint arXiv:2210.00185},
  year={2022}
}