lmtool fwp

ชุดเครื่องมือสร้างแบบจำลองภาษา Pytorch (สำหรับโปรแกรมเมอร์น้ำหนักเร็ว)

ที่เก็บนี้มีรหัสอย่างเป็นทางการที่ใช้สำหรับการทดลองแบบจำลองภาษาในกระดาษ:

• หม้อแปลงเชิงเส้นเป็นโปรแกรมเมอร์น้ำหนักเร็วอย่างลับๆ (ICML 2021)
• นอกเหนือไปจากหม้อแปลงเชิงเส้นด้วยโปรแกรมเมอร์น้ำหนักเร็วกำเริบ
• -

โดยทั่วไปแล้วสิ่งนี้สามารถใช้เป็นชุดเครื่องมือสร้างแบบจำลองภาษาใน Pytorch เพื่อทดลอง:

• หม้อแปลงมาตรฐาน

• Transformer-XL

• โปรแกรมเมอร์น้ำหนักเร็ว พร้อม กฎการอัปเดต ที่แตกต่างกันและ ฟังก์ชั่นความสนใจเชิงเส้น :

  • กฎการอัปเดต: "ผลรวม" และกฎ "เดลต้า" ของเรา (ตามที่เสนอในบทความของเราวินาที 4.2)
  • ฟังก์ชั่นความสนใจเชิงเส้น: "ELU-based" ความสนใจเชิงเส้น, "Fande+", "การฉายพารามิเตอร์ที่กำหนด (DPFP)"

  เช่นชุดค่าผสมบางอย่างส่งผลให้โมเดลที่รู้จักกันดี:

  • Linear Transformers = "ผลรวม" กฎการอัปเดต + "ELU-based" ความสนใจเชิงเส้น
  • performers = "ผลรวม" กฎการอัพเดท + "Fande +"

การใช้งานน้ำหนักอย่างรวดเร็ว

repositiory นี้มีสองการใช้งานของน้ำหนักที่รวดเร็ว

• เคอร์เนล cuda ที่กำหนดเอง (ดู utils/fast_fast_weight และ utils/cuda_fast_weight_layer.py)
• custom torch.autograd.Function (ดู Utils/fast_weight.py)

ในขณะที่เราใช้การใช้งาน CUDA สำหรับการทดลองขั้น torch.autograd.Function ทั้งหมดของเราทั้งหมด

ความต้องการ

ชุดเครื่องมือนี้ต้องใช้ Pytorch torch และ ninja (เพื่อรวบรวมเมล็ด Cuda)

การทดลองสำหรับกระดาษได้ดำเนินการด้วย Python 3.6 และ Pytorch 1.4.0 (หมายเหตุเมื่อวันที่ 24 ส.ค. 2023: รหัสยังทำงานร่วมกับ Python 3.11 และ Pytorch 2.0.1+Cu117)

Pytorch เวอร์ชันล่าสุดยังไม่ได้รับการสนับสนุนอย่างดีจากชุดเครื่องมือนี้ซึ่งยังคงใช้ torch.nn.DataParallel สำหรับการฝึกอบรมหลาย GPU หากคุณต้องการใช้ Pytorch เวอร์ชันล่าสุดให้ตรวจสอบเอกสารเพื่อใช้ torch.nn.parallel.DistributedDataParallel แทน เราหวังว่าจะแก้ไขปัญหานี้ได้เร็ว ๆ นี้ แต่เราไม่สามารถบอกได้ว่าเมื่อไหร่

ชุดเครื่องมือรองรับน้ำหนักและอคติสำหรับการตรวจสอบงาน หากคุณใช้ให้ติดตั้ง wandb ด้วย

กิตติกรรมประกาศ

ความซ้ำซ้อนนี้มีรหัสหลายบรรทัดที่นำมาและปรับจากแหล่งข้อมูลต่อไปนี้:

• ความซ้ำซ้อนนี้ถูกแยกออกจากการดำเนินการอย่างเป็นทางการของ Transformer-XL Kimiyoung/Transformer-XL รหัสสำหรับ Transformer-XL และโมเดลหม้อแปลงมาตรฐานรวมถึงฟังก์ชั่นพื้นฐานที่จำเป็นสำหรับการสร้างแบบจำลองภาษา (รวมถึงการปรับอินพุตและการฝังเอาท์พุท) และการเตรียมข้อมูล (Wikitext-103, Enwik8, ... ) มาจากที่เก็บที่สอดคล้องกัน
• สำหรับนักแสดงมีการใช้ฟังก์ชั่นผู้ช่วยจาก lucidrains/นักแสดง-Pytorch
• สำหรับการใช้งาน CUDA ของโปรแกรมเมอร์น้ำหนักเร็วของเราด้วยกฎเดลต้า:
  • รหัสจาก IDIAP/FAST-Transformers ใช้กับการเปลี่ยนแปลงเล็กน้อยสำหรับกฎการอัปเดตผลรวม
  • เราแก้ไขเพื่อใช้กฎการอัปเดตของเรา ดูความคิดเห็นในรหัสสำหรับตำแหน่งที่แน่นอนและการแก้ไข

คำแนะนำทั่วไป

โปรดตรวจสอบไฟล์ภายใต้ example_scripts สำหรับคำแนะนำทั่วไปและตัวอย่างเพื่อฝึกอบรมและประเมินโมเดล

bibtex

 @inproceedings{schlag2021linear,
      title={Linear Transformers Are Secretly Fast Weight Programmers}, 
      author={Imanol Schlag and Kazuki Irie and J"urgen Schmidhuber},
      booktitle={Proc. Int. Conf. on Machine Learning (ICML)},
      address = {Virtual only},
      month = jul,
      year={2021}
}

 @article{irie2021going,
      title={Going Beyond Linear Transformers with Recurrent Fast Weight Programmers}, 
      author={Kazuki Irie and Imanol Schlag and R'obert Csord'as and J"urgen Schmidhuber},
      journal={Preprint arXiv:2106.06295},
      year={2021}
}

ลิงค์

• รหัสสำหรับการทดลองการดึงข้อมูลสังเคราะห์ในกระดาษ "หม้อแปลงเชิงเส้นเป็นโปรแกรมเมอร์น้ำหนักเร็วอย่างลับๆ" (ICML 2021) สามารถพบได้ที่ ischlag/fast-weight-transformers
• ที่เก็บเต็มสำหรับกระดาษ "ไปไกลกว่าหม้อแปลงเชิงเส้นด้วยโปรแกรมเมอร์น้ำหนักเร็วที่เกิดขึ้นอีก" สามารถพบได้ที่: IDSIA/ซ้ำ FWP
• โพสต์บล็อก AI ของJürgen Schmidhuber บนโปรแกรมเมอร์น้ำหนักเร็ว (26 มีนาคม 2564)