flan t5 fine tune

Fine-Tuning Flan-T5

โครงการนี้มีจุดมุ่งหมายเพื่อปรับแต่งโมเดลภาษา Flan-T5 โดยใช้ห้องสมุด Transformers ของ Hugging Face โดยทำตามขั้นตอนเหล่านี้คุณสามารถปรับแต่งโมเดลและใช้เพื่อการอนุมาน

---

ข้อกำหนดเบื้องต้น

ก่อนเริ่มต้นใช้งานตรวจสอบให้แน่ใจว่าคุณมีสิ่งต่อไปนี้:

• Hugging Face API Token (HF Token)
• Python ติดตั้งในระบบของคุณ
• GPU ที่เปิดใช้งาน CUDA (สำหรับการฝึกอบรม)

---

การตั้งค่า

1. โคลนที่เก็บนี้ไปยังเครื่องในพื้นที่ของคุณ

   git clone https://github.com/mltrev23/Fine-Tuning-LLaMA-2/

2. ติดตั้งแพ็คเกจที่ต้องการโดยใช้คำสั่งต่อไปนี้:

   pip install -r requirements.txt

---

Fine-Tuning Flan-T5

มีสี่วิธีในการปรับจูน:

1. การปรับแต่งสารเติมแต่ง : เพิ่มเลเยอร์ในการฝึกอบรม

   python additive-fine-tuning.py

2. การปรับแต่งแบบเต็ม : ฝึกน้ำหนักทั้งหมดของแบบจำลอง

   python full-fine-tuning.py

3. การปรับแต่งแบบเลือก : เลือกเลเยอร์เฉพาะของโมเดลดั้งเดิมเพื่อฝึกอบรม

   python selective-fine-tuning.py

4. เทมเพลตปรับแต่ง : ใช้เทมเพลตที่กำหนดไว้ล่วงหน้าสำหรับการฝึกอบรม เทมเพลตสามารถแก้ไขได้ตามต้องการ

---

การบริโภคข้อมูลที่กำหนดเอง

หากต้องการนำข้อมูลของคุณเองเพื่อปรับแต่งให้แก้ไขรหัสในสคริปต์ของคุณเพื่อโหลดชุดข้อมูลของคุณ นี่คือตัวอย่างของการโหลดชุดข้อมูลข้อความ:

 from transformers import LineByLineTextDataset

dataset = LineByLineTextDataset ( tokenizer = tokenizer , file_path = 'datasets/bittensor.txt' , block_size = 128 )

---

การอนุมาน

ในการดำเนินการอนุมานโดยใช้โมเดล FLAN-T5 ที่ปรับแต่งได้อย่างละเอียดคุณสามารถใช้สคริปต์ต่อไปนี้:

1. สร้างโดยใช้การส่งต่อ : สคริปต์นี้แสดงให้เห็นถึงการสร้างข้อความโดยใช้วิธีการส่งต่อ

   python generate-using-forward.py

2. สคริปต์การอนุมานหลัก : สคริปต์นี้ให้วิธีที่ตรงไปตรงมาในการสร้างเอาต์พุตจากโมเดล

   python main.py

การอนุมานตัวอย่าง

คุณสามารถแก้ไขข้อความอินพุตในไฟล์ main.py เพื่อทดสอบรุ่น:

 input_text = [ "What is FAANG?" ]

สิ่งนี้จะสร้างเอาต์พุตตามอินพุตที่ให้ไว้

---

มีความสุขในการปรับแต่ง!

อย่าลังเลที่จะแก้ไขสคริปต์ตามต้องการสำหรับงานและชุดข้อมูลเฉพาะของคุณ หากคุณพบปัญหาใด ๆ ให้ตรวจสอบเอกสารประกอบการกอดหรือขอความช่วยเหลือจากชุมชน

สรุปโครงสร้าง readme

• ชื่อเรื่องและบทนำ : อธิบายวัตถุประสงค์ของโครงการ
• สิ่งที่จำเป็นต้องมี : รายการข้อกำหนดที่จำเป็น
• การตั้งค่า : คำแนะนำสำหรับการโคลนนิ่ง repo การตั้งค่าสภาพแวดล้อมและการติดตั้งการอ้างอิง
• วิธีการปรับแต่ง : รายละเอียดสี่วิธีที่มีให้สำหรับการปรับแต่ง
• การบริโภคข้อมูลที่กำหนดเอง : ให้ตัวอย่างของวิธีโหลดชุดข้อมูลที่กำหนดเอง
• การอนุมาน : อธิบายวิธีการอนุมานกับโมเดลที่ปรับจูนรวมถึงสคริปต์ตัวอย่าง
• สรุป : กระตุ้นให้ผู้ใช้แก้ไขสคริปต์และขอความช่วยเหลือหากจำเป็น

อย่าลังเลที่จะปรับส่วนใด ๆ เพิ่มเติมตามความต้องการเฉพาะของคุณ!