gpt j fine tuning example

صقل 6 مليارات GPT-J (والموديلات الأخرى) في كولاب مع Lora و 8 بت ضغط

يعد دفتر الملاحظات هذا مثالًا بسيطًا لضبط GPT-J-6B مع ذاكرة محدودة. يمكن العثور على شرح مفصل لكيفية عمله في بطاقة النموذج هذه. إنه يعتمد بشكل كبير على هذا كولاب. شكر كبير لـ Hivemind!

يمكنك أيضًا Finetune GPT-NEO-2.7B و GPT-J (Cedille's Boris) و T0-3B مع ذاكرة محدودة.

النماذج المدربة مع هذه الطريقة:

Sauge Divine: saugedivine. تدرب على المحتوى الفلسفي ، الثلاثي والصوفي.
La Voix du Bot: @lavoixdubot. تدرب على الأخبار الفرنسية.

Lora: https://arxiv.org/abs/2106.09685
مُحسّنات 8-bit: https://arxiv.org/abs/2110.02861

Twitter: gustavecortal