Fine tuning an LLM using LoRA

การปรับแต่ง-an-llm-using-lora

ที่เก็บนี้ได้รับแรงบันดาลใจจากบทความ "การปรับแต่งแบบจำลองภาษาขนาดใหญ่ (LLMS)" และมีรหัสสำหรับการฝึกอบรมรูปแบบการจำแนกข้อความโดยใช้ชุดข้อมูล Treebank (SST-2) ของ Stanford (SST-2) และ LORA (การปรับระดับต่ำของแบบจำลองภาษาขนาดใหญ่) การปรับแต่ง Lora เป็นวิธีที่จะทำให้แบบจำลองภาษาปรับตัวได้และมีประสิทธิภาพมากขึ้น แทนที่จะฝึกอบรมโมเดลทั้งหมดอีกครั้งสำหรับแต่ละงาน LORA จะแช่แข็งโมเดลที่ผ่านการฝึกอบรมมาก่อนและเพิ่มเมทริกซ์ฝึกอบรมขนาดเล็กลงในแต่ละชั้นรุ่น เมทริกซ์เหล่านี้ช่วยให้แบบจำลองปรับตัวเข้ากับงานที่แตกต่างกันโดยไม่ต้องเปลี่ยนพารามิเตอร์ทั้งหมด

สารบัญ

• การติดตั้ง
• การใช้งาน
• สถาปัตยกรรมแบบจำลอง
• การฝึกอบรม
• การอนุมาน
• การอ้างอิง

การติดตั้ง

ก่อนที่จะใช้รหัสในที่เก็บนี้คุณต้องติดตั้งไลบรารีที่ต้องการ คุณสามารถทำได้โดยเรียกใช้คำสั่งต่อไปนี้:

 ! pip install datasets
! pip install transformers
! pip install peft
! pip install evaluate

คำสั่งเหล่านี้จะติดตั้งไลบรารี Python ที่จำเป็นสำหรับการทำงานกับชุดข้อมูล, หม้อแปลง, LORA และตัวชี้วัดการประเมินผล

การใช้งาน

นี่คือวิธีใช้รหัสในที่เก็บนี้:

1. โหลดชุดข้อมูล SST-2 :

   รหัสโหลดชุดข้อมูล SST-2 โดยใช้ไลบรารี datasets Hugging Face SST-2 ประกอบด้วยประโยคจากบทวิจารณ์ภาพยนตร์มีคำอธิบายประกอบด้วยฉลากความเชื่อมั่น คุณสามารถค้นหาข้อมูลเพิ่มเติมเกี่ยวกับชุดข้อมูล SST-2 ได้ที่นี่

2. กำหนดสถาปัตยกรรมโมเดล LORA :

   รหัสใช้เทคนิค LORA เพื่อปรับแต่งรูปแบบภาษาที่ผ่านการฝึกอบรมมาล่วงหน้าสำหรับการจำแนกประเภทข้อความ LORA ปรับรูปแบบให้เข้ากับงานได้อย่างมีประสิทธิภาพโดยใช้ประโยชน์จากคุณสมบัติระดับต่ำของความแตกต่างของน้ำหนัก การใช้งาน LORA สามารถพบได้ในรหัส

3. โทเค็นชุดข้อมูล :

   ชุดข้อมูลนั้นถูกทำให้เป็นโทเค็นของโมเดลและโทเค็นพิเศษเช่น [PAD] จะถูกเพิ่มหากไม่มีอยู่แล้ว

4. ฝึกอบรมรุ่น Lora :

   รหัสกำหนดพารามิเตอร์การฝึกอบรมและฝึกอบรมโมเดลที่ปรับเปลี่ยน LORA โดยใช้ชุดข้อมูลที่ให้ไว้ ข้อโต้แย้งการฝึกอบรมเช่นอัตราการเรียนรู้ขนาดแบทช์และจำนวนยุคสามารถปรับได้ในตัวแปร training_args

5. อนุมานกับโมเดล Lora ที่ผ่านการฝึกอบรม :

   หลังจากการฝึกอบรมคุณสามารถใช้โมเดลที่ปรับแต่ง LORA ที่ผ่านการฝึกอบรมเพื่ออนุมานกับอินพุตข้อความใหม่ รหัสแสดงให้เห็นถึงวิธีการโหลดโมเดลและทำการคาดการณ์ในรายการประโยคตัวอย่าง

สถาปัตยกรรมแบบจำลอง

รหัสใช้รูปแบบการจำแนกประเภทข้อความตามสถาปัตยกรรมแบบจำลองภาษาที่ผ่านการฝึกอบรมมาก่อน การปรับแต่ง Lora ถูกนำไปใช้เพื่อปรับรูปแบบที่ผ่านการฝึกอบรมมาก่อนนี้อย่างมีประสิทธิภาพ เทคนิค LORA ใช้ประโยชน์จากโครงสร้างระดับต่ำของความแตกต่างของน้ำหนักเพื่อปรับปรุงประสิทธิภาพการปรับตัว

สำหรับข้อมูลโดยละเอียดเกี่ยวกับเทคนิค LORA คุณสามารถอ้างถึงกระดาษ LORA

การฝึกอบรม

ในการฝึกอบรมโมเดลที่ปรับแต่ง LORA ให้ทำตามขั้นตอนเหล่านี้:

1. ติดตั้งไลบรารีที่ต้องการตามที่กล่าวไว้ในส่วนการติดตั้ง

2. กำหนดชุดข้อมูลการฝึกอบรมของคุณหรือใช้ชุดข้อมูล SST-2 ที่ให้ไว้

3. กำหนดค่าสถาปัตยกรรมแบบจำลองและไฮเปอร์พารามิเตอร์ในรหัส

4. เรียกใช้รหัสการฝึกอบรมและโมเดลจะได้รับการปรับแต่งโดยใช้เทคนิค LORA ในชุดข้อมูลของคุณ

การอนุมาน

หลังจากการฝึกอบรมคุณสามารถใช้โมเดลที่ปรับแต่ง LORA ที่ผ่านการฝึกอบรมเพื่ออนุมานกับอินพุตข้อความใหม่ ในการทำเช่นนี้:

1. โหลดโมเดลที่ปรับแต่ง LORA ที่ผ่านการฝึกอบรมตามที่แสดงในรหัส

2. tokenize ข้อความอินพุตของคุณโดยใช้ tokenizer ของรุ่น

3. ส่งอินพุตโทเค็นไปยังโมเดลสำหรับการจำแนกความเชื่อมั่น

4. แบบจำลองจะทำนายว่าข้อความอินพุตมีความเชื่อมั่นในเชิงบวกหรือเชิงลบ

การอ้างอิง

• ชุดข้อมูล SST-2
• กระดาษ Lora

การทำนายแบบจำลองที่ไม่ได้รับการฝึกฝน

การทำนายแบบจำลองที่ผ่านการฝึกอบรม