Alpaca 350M Fine Tuned

Alpaca-350m-fine-tuned

โครงการที่เกี่ยวข้องกับการทำงานระดับมืออาชีพ

ในโครงการนี้ฉันได้จัดทำรหัสและสมุดบันทึก colaboratory ที่อำนวยความสะดวกในกระบวนการปรับจูนของโมเดลพารามิเตอร์ ALPACA 350M ที่พัฒนาขึ้นที่มหาวิทยาลัยสแตนฟอร์ด รุ่นเฉพาะที่ได้รับการปรับแต่งมีพารามิเตอร์ประมาณ 350 ล้านพารามิเตอร์ซึ่งเป็นหนึ่งในรุ่น Alpaca ขนาดเล็ก (เล็กกว่ารุ่นที่ปรับแต่งก่อนหน้านี้ของฉัน)

โมเดลใช้ LORA ปรับระดับต่ำเพื่อทำงานด้วยทรัพยากรการคำนวณน้อยลงและพารามิเตอร์การฝึกอบรม เราใช้ bitsandbytes เพื่อตั้งค่าและทำงานในรูปแบบ 8 บิตเพื่อให้สามารถใช้กับ colaboratory นอกจากนี้ห้องสมุด PEFT จาก HuggingFace ยังใช้สำหรับการปรับแต่งโมเดล

พารามิเตอร์ไฮเปอร์:

1. micro_batch_size = 4 (4 ทำงานกับ GPU ขนาดเล็กกว่า)
2. batch_size = 32
3. gradient_accumulation_steps = batch_size // micro_batch_size
4. Epochs = 2 (Alpaca ของ Stanford ใช้ 3)
5. Learning_rate = 2E-5 (Alpaca ของ Stanford ใช้ 2E-5)
6. cutoff_len = 256 (Alpaca ของ Stanford ใช้ 512 แต่ 256 บัญชีสำหรับ 96% ของข้อมูลและทำงานเร็วกว่า)
7. lora_r = 4
8. lora_alpha = 16
9. lora_dropout = 0.05

เครดิตสำหรับรุ่นดั้งเดิม: Qiyuan GE

รุ่นปรับแต่ง: Ryanair/Alpaca-350m-fine-tuned (HuggingFace)