FineTune_T5_on_imdb

ที่เก็บโครงการ: การปรับจูน T5 ด้วยวิธีการต่าง ๆ

ภาพรวม

ที่เก็บนี้มีรหัสและโน้ตบุ๊กสำหรับการปรับแต่งรุ่น T5 โดยใช้วิธีการที่แตกต่างกัน วัตถุประสงค์หลักของโครงการนี้คือ:

1. นำไปใช้และสำรวจวิธีการปรับแต่งอย่างละเอียดเช่น Soft Prompt, Adapter, LORA และการปรับแต่งแบบเต็มตั้งแต่เริ่มต้น
2. ปรับแต่ง T5 ด้วยวิธีการดังกล่าวโดยใช้ PEFT (การปรับแต่งวิศวกรรมที่รวดเร็ว), Opendelta และ AdapterHub
3. ดำเนินการเปรียบเทียบความแม่นยำที่ครอบคลุมและจำนวนพารามิเตอร์ที่ได้รับการฝึกฝนสำหรับวิธีการปรับแต่งแต่ละวิธี

โครงสร้างที่เก็บ

• 01_full finetune.ipynb : Jupyter Notebook ใช้วิธีการปรับแต่งแบบเต็มตั้งแต่เริ่มต้น
• 02_Soft Prompt.ipynb : Jupyter Notebook ใช้การปรับแต่งอย่างละเอียดโดยใช้ Soft Prompt
• 03_adapter.ipynb : Jupyter Notebook ใช้การปรับแต่งอย่างละเอียดด้วยวิธีอะแดปเตอร์
• 04_adapterhub.ipynb : Jupyter Notebook ปรับแต่ง T5 โดยใช้ AdapterHub
• 05_lora.ipynb : Jupyter Notebook ใช้วิธีการปรับแต่งด้วยวิธี LORA
• 402212503_hosnaoyarhoseini_report.pdf : รายงานไฟล์ที่ให้ข้อมูลเชิงลึกการวิเคราะห์และผลลัพธ์ของการทดลอง

ห้องสมุด

• pytorch
• คนอื่น ๆ
• Opendelta
• อะแดปเตอร์ฮับ