SiLLM examples ดาวน์โหลด - SiLLM examples ดาวน์โหลด

SiLLM examples

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

ตัวอย่างสำหรับการใช้ sillm

ตรวจสอบให้แน่ใจว่าได้ติดตั้งข้อกำหนดสำหรับตัวอย่างเหล่านี้:

pip install -r requirements-examples.txt

ควบคุม

ตัวอย่างสำหรับเวกเตอร์ควบคุมการฝึกอบรมจากสถานะที่ซ่อนอยู่ของแบบจำลองที่สามารถใช้เพื่อมีอิทธิพลต่อพฤติกรรมและสร้างผลลัพธ์ในระหว่างการอนุมาน

Helpsteer Lora

การฝึกอบรม LORA MISTRAL-7B-Instruct-V0.2 พร้อมชุดข้อมูล NVIDIA HelpSteer

Run train.sh ในไดเรกทอรี helpsteer เพื่อดาวน์โหลดชุดข้อมูลและรุ่นจาก HuggingFace และเริ่มการฝึกอบรม LORA คุณสามารถปรับแต่งการกำหนดค่าการฝึกอบรมโดยแก้ไข config.yml

dpo-mix-7k

การฝึกอบรม DPO QWEN1.5-7B-Chat พร้อมชุดข้อมูล DPO Mix 7K การฝึกอบรมประกอบด้วยการปรับแต่งอย่างละเอียดภายใต้การดูแล (SFT) ตามด้วยการเพิ่มประสิทธิภาพการตั้งค่าโดยตรง (DPO)

Run train.sh ในไดเรกทอรี dpo-mix-7k เพื่อดาวน์โหลดชุดข้อมูลและโมเดลจาก HuggingFace และเริ่มการฝึกอบรม คุณสามารถปรับแต่งการกำหนดค่าการฝึกอบรมโดยแก้ไขไฟล์ config sft.yml และ dpo.yml