gpt j fine tuning example

带有LORA和8位压缩的Colab中的6亿个GPT-J（和其他型号）

该笔记本是一个简单的示例，用于微调GPT-J-6B，内存有限。可以在此模型卡中找到有关其工作方式的详细说明。它是基于这个colab的。非常感谢Hivemind！

您还可以使用有限的记忆力有限的Finetune GPT-NEO-2.7B，法国GPT-J（锡尔哥boris）和T0-3B。

用这种方法训练的模型：

Sauge Divine：@SaugeDivine。经过哲学，怪异和神秘的内容的培训。
La Voix du Bot：@lavoixdubot。接受了法国新闻训练。

洛拉：https：//arxiv.org/abs/2106.09685
8位优化器：https：//arxiv.org/abs/2110.02861

Twitter：@gustavecortal