gpt j fine tuning example

Ajuste de 6 bilhões de GPT-J (e outros modelos) em Colab com Lora e compressão de 8 bits

Este notebook é um exemplo simples para o ajuste fino GPT-J-6B com memória limitada. Uma explicação detalhada de como funciona pode ser encontrada neste cartão de modelo. É fortemente baseado neste colab. Agradecimentos enormes a Hivemind!

Você também pode Finetune GPT-NEO-2.7B, GPT-J (Boris de Cedille) e T0-3B com memória limitada.

Modelos treinados com este método:

Sauge Divino: @saugedivine. Treinado em conteúdo filosófico, trippy e místico.
La Voix du Bot: @LavoixDubot. Treinado em notícias francesas.

Lora: https://arxiv.org/abs/2106.09685
Otimizadores de 8 bits: https://arxiv.org/abs/2110.02861

Twitter: @GustaveCortal