Fine_tune_Anything

พื้นที่เก็บข้อมูลปรับแต่งสำหรับแบบจำลองภาษาเชิงสาเหตุ

ภาพรวม?

พื้นที่เก็บข้อมูลนี้มีเครื่องมือสำหรับการปรับแต่งแบบจำลองภาษาเชิงสาเหตุอย่างละเอียดใช้ประโยชน์จากพลังของห้องสมุด Peft (Pytorch ที่มีประสิทธิภาพปรับแต่ง) มันถูกออกแบบมาเพื่อเพิ่มการสร้างรหัสที่ปรับให้เหมาะกับที่เก็บเฉพาะ

คุณสมบัติ

• ความยืดหยุ่นของโมเดล ?: โหลดโมเดลภาษาเชิงสาเหตุใด ๆ
• การตั้งค่าตามการกำหนดค่า : กำหนดการเลือกรุ่นและโทเค็นได้อย่างง่ายดายผ่านไฟล์ conf/config.yaml
• การปรับจูนที่มีประสิทธิภาพ ? ‍♂: ปัจจุบันใช้ LORA (การปรับระดับต่ำ) ผ่านห้องสมุด PEFT วิธีการเพิ่มเติมเร็ว ๆ นี้!
• พร้อมในอนาคต หรือไม่: คอยติดตามวิธีการฝึกอบรมสำหรับแบบจำลองการสอนและ QA

เริ่มต้น?

ข้อกำหนดเบื้องต้น?

• Python 3.x?
• pytorch
• ห้องสมุด Peft
• การพึ่งพาอื่น ๆ ที่ระบุไว้ใน requirements.txt

การติดตั้ง?

1. โคลนที่เก็บ: git clone [repository URL] : git:
2. สร้างสถานที่สำหรับการจัดเก็บข้อมูล mkdir data ตรวจสอบให้แน่ใจว่าได้อัปเดต config.yaml ตามนั้น
3. ติดตั้งแพ็คเกจที่ต้องการ: pip install -r requirements.txt

การกำหนดค่า

ปรับแต่งไฟล์ confconfig.yaml เพื่อตั้งค่าพารามิเตอร์โมเดลและโทเค็น

การใช้งาน

เริ่มกระบวนการปรับจูนโดยใช้สคริปต์หลัก ( python main.py ) โมเดลที่ปรับแต่งอย่างละเอียดจะถูกบันทึกไว้ในไดเรกทอรีที่ระบุใน config.yaml -> "การเพิ่มประสิทธิภาพ" -> result_dir

มีส่วนร่วม?

เรายินดีต้อนรับการมีส่วนร่วมของคุณเพื่อให้เครื่องมือนี้มีประสิทธิภาพมากขึ้นและอุดมไปด้วยคุณสมบัติ โปรดปฏิบัติตามแนวทางการบริจาคโอเพ่นซอร์สมาตรฐาน

ใบอนุญาต ?

ใบอนุญาต Apache 2.0