หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด

อัปเดตหมายเหตุ

เวอร์ชันที่อัปเดตสามารถพบได้ใน repo ใหม่

https://github.com/gmongaras/wizard_qlora_finetuning

llama-2_huggingface_4bit_qlora

ตัวอย่างการทำงานของโมเดล 4 บิต Qlora Falcon/Llama2 โดยใช้ HuggingFace

หากต้องการเริ่มต้น finetuning แก้ไขและเรียกใช้ main.py

เมื่อ Finetuning เสร็จสมบูรณ์คุณควรมีจุดตรวจใน ./outputs OUTPUTS ก่อนที่จะใช้การอนุมานเราสามารถรวมน้ำหนัก LORA เข้ากับน้ำหนักดั้งเดิมเพื่อการอนุมานที่เร็วขึ้นและข้อกำหนด GPU ที่เล็กลงในระหว่างการอนุมาน ในการทำเช่นนี้ให้เรียกใช้สคริปต์ merge_weights.py ด้วยเส้นทางของคุณ

ในที่สุดคุณสามารถเรียกใช้ generate.py ตัวอย่างการสร้างที่ได้รับโมเดลที่ผสาน

ความต้องการ

ข้อกำหนดของ Python ในการเรียกใช้สคริปต์นั้นอยู่ใน chendion.txt

คุณควรดาวน์โหลดน้ำหนักเหยี่ยวของรุ่น 7B ที่นี่ https://huggingface.co/tiiuae/falcon-7b และใส่ไฟล์ลงในไดเรกทอรี ./tiiuae/falcon-7b https://huggingface.co/meta-llama/Llama-2-7b-hf ./llama-2 7b หรือดาวน์โหลดน้ำหนัก llama-2-2- 2

GPU หลายตัว

สคริปต์นี้ไม่รองรับ Multi-GPUs ในการ finetuning 4 บิต หากฉันหาวิธีทำสิ่งนี้ฉันจะอัปเดตสคริปต์

ข้อกำหนดของ GPU

  • โมเดลพื้นฐานใช้หน่วยความจำประมาณ 6 GB
  • Finetuning ขึ้นอยู่กับขนาดอะแดปเตอร์ขนาดแบทช์ความยาวสูงสุด ฯลฯ ในการกำหนดค่าปัจจุบันการใช้หน่วยความจำอยู่ที่ประมาณ 8GB

ปัญหา

  1. หากมีข้อผิดพลาดรูปร่างเมื่อการฝึกอบรม Bitsandbytes และ/หรือ Peft กำลังมีปัญหา วิธีที่ดีที่สุดในการแก้ไขปัญหานี้คือการถอนการติดตั้งอย่างสมบูรณ์และติดตั้งใหม่จากแหล่งที่มา: 
 python -m pip uninstall bitsandbytes transformers accelerate peft -y
python -m pip install git+https://github.com/huggingface/transformers.git git+https://github.com/huggingface/peft.git git+https://github.com/huggingface/accelerate.git git+https://github.com/timdettmers/bitsandbytes.git -U
  1. หากคุณได้รับข้อผิดพลาด CUDA Setup failed despite GPU being available. Please run the following command to get more information จากนั้นคุณต้องสร้าง bitsandbytes จากแหล่งที่มาและใส่ไว้ในบิตและไบต์ไซต์แพคเกจโดยติดตาม https://github.com/oobabooga/text-generation-webui/issues/147
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด