gpt j fine tuning example

Régler 6 milliards de 6 milliards de modèles GPT-J (et autres) à Colab avec Lora et compression 8 bits

Ce carnet est un exemple simple pour le réglage fin GPT-J-6B avec une mémoire limitée. Une explication détaillée de son fonctionnement peut être trouvée dans cette carte de modèle. Il est fortement basé sur ce colab. Un grand merci à Hivemind!

Vous pouvez également Finetune GPT-Neo-2.7b, GPT-J français (Boris de Cedille) et T0-3B avec mémoire limitée.

Modèles formés avec cette méthode:

Sauge Divine: @saugedivine. Formé sur le contenu philosophique, trippant et mystique.
La Voix du Bot: @lavoixdubot. Formé sur des nouvelles françaises.

Lora: https://arxiv.org/abs/2106.09685
Optimisateurs 8 bits: https://arxiv.org/abs/2110.02861

Twitter: @gustavecortal