หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

Finetune LLMS

ภาพรวม

repo นี้มีรหัสเพื่อปรับแต่งโมเดลภาษาขนาดใหญ่ (LLMs) ด้วยชุดข้อมูลคำพูดที่มีชื่อเสียง

วิธีการที่ได้รับการสนับสนุนของ finetuning คือ Deepspeed, Lora หรือ Qlora

เดิมที repo ดาวน์โหลดและแปลงน้ำหนักรุ่นสำหรับ GPTJ เมื่อยังไม่ได้เพิ่มลงในแพ็คเกจ HuggingFace Transformer รหัสนั้นยังสามารถเห็นได้ภายใต้สาขา original_youtube _youtube

/quotes_dataset มีชุดข้อมูลที่จัดรูปแบบอย่างเหมาะสมสำหรับการปรับแต่ง ดู Repo สำหรับการสร้างชุดข้อมูลนี้ที่นี่

/finetuning_repo มีรหัสดั้งเดิมจาก repo ที่นี่ที่ฉันได้ปรับเปลี่ยนให้ทำงานกับรุ่นเพิ่มเติมและด้วยวิธีการเพิ่มเติม

ความช่วยเหลืออย่างมืออาชีพ

หากต้องการความช่วยเหลือจากมืออาชีพที่ได้รับค่าตอบแทนที่สามารถใช้ได้ผ่านอีเมลนี้

คำแนะนำวิดีโอเก่า (อย่าใช้ภายใต้สภาวะปกติ)

ดูวิดีโอเก่าสำหรับรหัส repo ดั้งเดิมที่นี่สำหรับการสอนวิดีโอ

วิดีโอที่อัปเดตเพิ่มเติมสำหรับการใช้โมเดล HuggingFace สามารถดูได้ที่นี่

ไปที่สาขา original_youtube คือคุณต้องการดูรหัส แต่ฉันขอแนะนำให้คุณใช้วิธีการที่ทันสมัยมากขึ้น

อัพเดท Docker Walkthrough (ใช้สิ่งนี้ภายใต้สภาวะปกติ)

คำแนะนำที่อัปเดตใช้ Nvidia-Docker เพื่อทำให้ปวดหัวออกจากกระบวนการส่วนใหญ่

ความต้องการ

  1. Nvidia GPU ที่เพียงพอ (โดยทั่วไปแล้วอย่างน้อย 24GB ของ VRAM และสนับสนุน FP16) หากใช้ข้อเสนอคลาวด์ฉันแนะนำ A100 แม้ว่ามันจะมีค่าใช้จ่ายมากขึ้นและ VRAM ก็ทำขึ้นมา
  2. ใช้เครื่อง Linux ฉันแนะนำ ubuntu
  3. Docker เวอร์ชันทันสมัยพอสมควร (เมื่อมีข้อสงสัยอัปเดตเป็นล่าสุด)
  4. Nvidia-Docker อนุญาตให้ GPU ผ่านไปยังคอนเทนเนอร์ Docker ดูคู่มือการติดตั้งที่นี่
  5. ตรวจสอบให้แน่ใจว่าคุณติดตั้งไดรเวอร์ Nvidia ล่าสุด ตรวจสอบเครื่องมือที่นี่

ตัวอย่างไดรเวอร์ cuda

หากคุณมีระบบ Linux 64 บิตและต้องการไดรเวอร์สำหรับ A100 คุณสามารถเรียกใช้คำสั่งเช่นนี้เพื่อตั้งค่า

wget https://us.download.nvidia.com/tesla/515.86.01/NVIDIA-Linux-x86_64-515.86.01.run

จากนั้นคุณจะเรียกใช้โปรแกรมที่ดาวน์โหลดด้วย sudo

chmod 777 NVIDIA-Linux-x86_64-515.86.01.run

sudo ./NVIDIA-Linux-x86_64-515.86.01.run

การใช้งาน

  1. ก่อนอื่นให้สร้างภาพนักเทียบท่าโดยใช้ build_image.sh หากคุณได้รับข้อผิดพลาดเกี่ยวกับการไม่สามารถค้นหาอิมเมจนักเทียบท่าให้อัปเดตเป็นรุ่น CUDA ที่ใหม่กว่า ภาพจะเลิกใช้เป็นระยะ จากนั้นเปิด PR เพื่อให้คุณสามารถแก้ไขปัญหานี้ให้กับผู้อื่นได้ การสร้างภาพนักเทียบท่าอาจใช้เวลาหลายนาที
  2. เรียกใช้ run_image.sh สคริปต์นี้เรียกใช้อิมเมจนักเทียบท่าที่เพิ่งสร้างและติดตั้งไดเรกทอรีปัจจุบันไปที่ /workspace ภายในคอนเทนเนอร์ Docker GPU ทั้งหมดในระบบจะถูกส่งผ่าน นอกจากนี้เพื่อป้องกันการดาวน์โหลดโมเดลในแต่ละครั้งที่คอนเทนเนอร์นี้ทำงานอยู่. .cache ของคุณจะถูกส่งผ่าน
  3. ตอนนี้ภาพนี้สามารถใช้สำหรับ finetuning โมเดลที่มี GPU หรือใช้การอนุมาน deepspeed นำทางไปยังโฟลเดอร์อื่นสำหรับข้อมูลเพิ่มเติม
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด