Zemi

รหัสสำหรับ Paper Zemi: การเรียนรู้แบบจำลองภาษากึ่งพารามิเตอร์แบบกึ่งพารามิเตอร์จากงานหลายงาน [การค้นพบ ACL 2023]

เตรียมชุดข้อมูล

คำแนะนำเกี่ยวกับการดาวน์โหลดชุดข้อมูลที่ประมวลผลล่วงหน้าและชุดข้อมูลชุดเครื่องแต่งกายล่วงหน้าสามารถดูได้ที่นี่

ดาวน์โหลดจุดตรวจ

ดาวน์โหลด checkpoints จาก: https://uofi.box.com/s/wnt6cv7icuir4q3wb2a6viuyklme5dga ใส่ไดเรกทอรีจุดตรวจใน checkpoints ใต้ zemi/output/p3_finetuning

สภาพแวดล้อมการตั้งค่า

ตั้งค่าสภาพแวดล้อม conda ด้วย conda env create -f environment.yml เรียกใช้ accelerate config เพื่อกำหนดค่าอุปกรณ์

เริ่มต้นอย่างรวดเร็ว

สคริปต์สำหรับการทำซ้ำผลลัพธ์หลักในตารางที่ 1: การดำเนินการ (กึ่ง) พารามิเตอร์มัลติทาสก์พารามิเตอร์ได้รับแจ้งการฝึกอบรมและการประเมินผลเป็นศูนย์ คำแนะนำโดยละเอียดเกี่ยวกับการกำหนดค่าสามารถดูได้ที่นี่ สคริปต์ทั้งหมดควรทำงานภายใต้ zemi/ SETUP_ENV.sh จะถูกเรียกในสคริปต์ต่อไปนี้สำหรับการตั้งค่าตัวแปร Env หนึ่งอาจปรับเปลี่ยนตัวแปรหากไม่ได้ใช้โครงสร้างโฟลเดอร์เดียวกันที่แน่นอนเช่นการตั้งค่าด้านบน

ไม่มีพื้นฐาน Aug

• ฐาน: bash ./training/no_aug_base.sh
• ขนาดใหญ่: bash ./training/no_aug_large.sh

รอบพื้นฐาน

• ฐาน: bash ./training/concat_base.sh
• ขนาดใหญ่: bash ./training/concat_large.sh

FID Baseline

• ฐาน: bash ./training/fid_base.sh
• ขนาดใหญ่: bash ./training/fid_large.sh

เซมิ

• ฐาน: bash ./training/zemi_base.sh
• ขนาดใหญ่: bash ./training/zemi_large.sh

คำอธิบายสั้น ๆ ของซอร์สโค้ด

• รหัสสำหรับสถาปัตยกรรมแบบจำลอง: zemi/modeling_t5.py จากบรรทัดนี้และ zemi/modeling_xattn.py
• รหัสสำหรับการฝึกอบรมมัลติทาสก์:
  • รถไฟไม่มี ส.ค. และ concat baseline: zemi/multi_task_fine_tune_baseline.py
  • Train Fid Baseline และ Zemi: zemi/multi_task_fine_tune_xattn.py
• รหัสสำหรับการประเมินผลเป็นศูนย์:
  • Eval No Aug และ concat baseline: zemi/eval_original_task_only.py
  • eval eval fid baseline และ zemi: zemi/eval_original_task_only_xattn.py

การสร้างภาพของเอกสารที่ดึงมา

visualization/ มีตัวอย่างของเอกสารที่ดึงมาสำหรับแต่ละงาน เรารวมตัวอย่าง 50 อันดับแรกที่มีคะแนน BM25 สูงสุดและต่ำสุดใน visualization/top50_highest_score_retrieval_instances และ visualization/top50_lowest_score_retrieval_instances นอกจากนี้เรายังรวมถึง 50 อินสแตนซ์แรกสำหรับแต่ละชุดข้อมูลโดยไม่ต้องเรียงลำดับใหม่ใน visualization/first50_retrieval_instances

การอ้างอิง

 @article{wang2022zemi,
  title={Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks},
  author={Wang, Zhenhailong and Pan, Xiaoman and Yu, Dian and Yu, Dong and Chen, Jianshu and Ji, Heng},
  journal={arXiv preprint arXiv:2210.00185},
  year={2022}
}