gpt j fine tuning example

Ajunte de 6 billones de GPT-J (y otros modelos) en Colab con Lora y compresión de 8 bits

Este cuaderno es un ejemplo simple para ajustar GPT-J-6B con memoria limitada. Se puede encontrar una explicación detallada de cómo funciona en esta tarjeta modelo. Se basa en gran medida en este colab. ¡Muchas gracias a Hivemind!

También puede Finetune GPT-Neo-2.7B, French GPT-J (Boris de Cedille) y T0-3B con memoria limitada.

Modelos entrenados con este método:

Sauge Divine: @Saugedivine. Entrenado en contenido filosófico, trippy y místico.
La Voix du Bot: @lavoixdubot. Entrenado en noticias francesas.

Lora: https://arxiv.org/abs/2106.09685
Optimizadores de 8 bits: https://arxiv.org/abs/2110.02861

Twitter: @gustavecortal