gpt j fine tuning example

ปรับแต่ง 6 พันล้าน GPT-J (และรุ่นอื่น ๆ ) ใน colab ด้วยการบีบอัด LORA และ 8 บิต

สมุดบันทึกนี้เป็นตัวอย่างง่ายๆสำหรับการปรับแต่ง GPT-J-6B พร้อมหน่วยความจำที่ จำกัด คำอธิบายโดยละเอียดเกี่ยวกับวิธีการทำงานที่สามารถพบได้ในการ์ดรุ่นนี้ มันขึ้นอยู่กับ colab นี้อย่างมาก ขอบคุณ Hivemind มาก!

นอกจากนี้คุณยังสามารถ Finetune GPT-NEO-2.7B, French GPT-J (Boris ของ Cedille) และ T0-3B พร้อมหน่วยความจำที่ จำกัด

รุ่นที่ผ่านการฝึกอบรมด้วยวิธีนี้:

Sauge Divine: @saugedivine ได้รับการฝึกฝนเกี่ยวกับเนื้อหาทางปรัชญาทริปปี้และลึกลับ
la voix du bot: @lavoixdubot ได้รับการฝึกฝนเกี่ยวกับข่าวฝรั่งเศส

Lora: https://arxiv.org/abs/2106.09685
8-bit Optimizers: https://arxiv.org/abs/2110.02861

Twitter: @gustavecortal