gpt j fine tuning example

LORAと8ビット圧縮を搭載した6億GPT-J（およびその他のモデル）を微調整する

このノートブックは、メモリが限られている微調整GPT-J-6Bの簡単な例です。その仕組みの詳細な説明は、このモデルカードに記載されています。このコラブに大きく基づいています。 Hivemindに感謝します！

また、GPT-NEO-2.7B、フランスのGPT-J（セディルのボリス）、およびメモリが限られているT0-3BをFintuneすることもできます。

この方法でトレーニングされたモデル：

Sauge Divine：@saugedivine。哲学的、奇抜で神秘的な内容について訓練されています。
La Voix du Bot：@lavoixdubot。フランスのニュースで訓練されています。

lora：https：//arxiv.org/abs/2106.09685
8ビットオプティマイザー：https：//arxiv.org/abs/2110.02861

Twitter：@gustavecortal