Finetune LLAMA 2 On Your DataSet AutoTrain From Hugging Face

การปรับแต่งและการอนุมานกับรุ่น LLAMA-3.1-8B

โครงการนี้แสดงให้เห็นถึงวิธีการปรับแต่งโมเดล LLAMA-3.1-8B โดยใช้อะแดปเตอร์ LORA ใช้เทมเพลตแชทและบันทึกโมเดลสำหรับการอนุมาน แบบจำลองได้รับการฝึกฝนเกี่ยวกับข้อมูลท้องถิ่นที่ได้รับการปรับให้เหมาะสมสำหรับการฝึกอบรมที่มีประสิทธิภาพพารามิเตอร์และปรับใช้กับฮับใบหน้ากอด

ภาพรวม

• แบบจำลอง : LLAMA-3.1-8B พร้อมปริมาณ 4 บิตสำหรับการใช้หน่วยความจำที่มีประสิทธิภาพ
• เทคนิค : การปรับแต่งโดยใช้อะแดปเตอร์ LORA (การปรับระดับต่ำ), จุดตรวจการไล่ระดับสีและเทมเพลตแชท
• ข้อมูล : ไฟล์ CSV ท้องถิ่นที่กำหนดเองที่ใช้สำหรับการฝึกอบรม
• เป้าหมาย : ฝึกอบรมและปรับใช้โมเดล chatbot ที่สามารถจัดการกับการป้อนข้อมูลผู้ใช้ในรูปแบบการสนทนา

คุณสมบัติ

• อะแดปเตอร์ LORA : การปรับแต่งพารามิเตอร์อย่างละเอียด
• Quantization : การใช้หน่วยความจำที่มีประสิทธิภาพด้วยความแม่นยำ 4 บิต
• เทมเพลตแชท : การสนทนาที่มีโครงสร้างด้วย tokenization
• การปรับใช้แบบจำลอง : การประหยัดและผลักดันโมเดลเพื่อกอด Hub Face ในรูปแบบการวัดปริมาณที่แตกต่างกัน

การติดตั้ง

ในการเรียกใช้โครงการนี้คุณจะต้องติดตั้งแพ็คเกจที่จำเป็น คุณสามารถตั้งค่าสิ่งนี้ใน Google Colab หรือสภาพแวดล้อมในพื้นที่ของคุณ:

pip install torch transformers datasets pandas unsloth trl