Alpaca 3B Fine Tuned

Alpaca-3b-fine-tuned

โครงการที่เกี่ยวข้องกับการทำงานระดับมืออาชีพ

ในโครงการนี้ฉันได้จัดทำรหัสและสมุดบันทึก colaboratory ที่อำนวยความสะดวกในกระบวนการปรับจูนของโมเดลพารามิเตอร์ Alpaca 3B ที่พัฒนาขึ้นที่มหาวิทยาลัยสแตนฟอร์ด โมเดลเฉพาะที่ได้รับการปรับแต่งมีพารามิเตอร์ประมาณ 3 พันล้านพารามิเตอร์ซึ่งเป็นหนึ่งในรุ่น Alpaca ขนาดเล็ก

โมเดลใช้ LORA ปรับระดับต่ำเพื่อทำงานด้วยทรัพยากรการคำนวณน้อยลงและพารามิเตอร์การฝึกอบรม เราใช้ bitsandbytes เพื่อตั้งค่าและทำงานในรูปแบบ 8 บิตเพื่อให้สามารถใช้กับ colaboratory นอกจากนี้ห้องสมุด PEFT จาก HuggingFace ยังใช้สำหรับการปรับแต่งโมเดล

พารามิเตอร์ไฮเปอร์:

1. micro_batch_size = 4 (4 ทำงานกับ GPU ขนาดเล็กกว่า)
2. batch_size = 256
3. gradient_accumulation_steps = batch_size // micro_batch_size
4. Epochs = 2 (Alpaca ของ Stanford ใช้ 3)
5. Learning_rate = 2E-5 (Alpaca ของ Stanford ใช้ 2E-5)
6. cutoff_len = 256 (Alpaca ของ Stanford ใช้ 512 แต่ 256 บัญชีสำหรับ 96% ของข้อมูลและทำงานเร็วกว่า)
7. lora_r = 4
8. lora_alpha = 16
9. lora_dropout = 0.05

เครดิตสำหรับโมเดลดั้งเดิม: Xinyang (Young) Geng และ Hao Liu จาก OpenLM Research

รุ่นปรับแต่ง: Ryanair/Alpaca-3b-fine-tuned (HuggingFace)