Wizard_QLoRA_Finetuning
1.0.0
Finetuning รุ่นพ่อมดบางรุ่นด้วย Qlora
https://youtu.be/hkt5nz0buso?si=hnmylp_z5sgzlmbm
Finetuning สามารถทำได้ด้วยสคริปต์ finetune.py ในสคริปต์นี้จะมีการดาวน์โหลดโมเดลและ finetuned บนหนึ่งในชุดข้อมูลในความแม่นยำ 4 บิต เมื่อมีความคืบหน้าในการกำหนดค่าใช้จ่ายจุดตรวจสอบจะถูกบันทึกลงในไดเรกทอรีเอาต์พุตที่ระบุ
หลังจากได้รับการฝึกอบรมแบบจำลองหนึ่งในไฟล์จุดตรวจสอบควรรวมกันเพื่อให้น้ำหนัก LORA และน้ำหนักเก่ารวมกันเป็นเมทริกซ์น้ำหนักเดียวทำให้การอนุมานมีประสิทธิภาพมากกว่าถ้าคุณแยกออก merge.py การผสานที่ได้รับไฟล์จุดตรวจสอบที่ระบุและประเภทรุ่นที่ระบุ
การอนุมานมีสคริปต์ไม่กี่ infer.py และ infer.ipynb คล้ายกันและเพียงแค่เรียกใช้การอนุมานโดยตรงในรุ่นที่กำหนด infer_interface.ipynb มีอินเทอร์เฟซเพิ่มเติมโดยใช้ Gradio
upload.py สามารถใช้เพื่ออัปโหลดโมเดล HuggingFace ไปยังฮับได้อย่างง่ายดายโดยได้รับชื่อ repo เพื่ออัปโหลด ตรวจสอบให้แน่ใจว่าได้รับโทเค็น write จาก HuggingFace เพื่ออัปโหลดอย่างถูกต้อง
data_creation.ipynb เป็นตัวอย่างง่ายๆของการสร้างข้อมูล
