gpt j fine tuning example

Feinabstimmung 6 Milliarden GPT-J (& andere Modelle) in Colab mit Lora und 8-Bit-Komprimierung

Dieses Notizbuch ist ein einfaches Beispiel für die Feinabstimmung GPT-J-6B mit begrenztem Speicher. Eine detaillierte Erklärung, wie es funktioniert, finden Sie in dieser Modellkarte. Es basiert stark auf diesem Colab. Vielen Dank an Hivemind!

Sie können auch GPT-NEO-2.7B, Französisch GPT-J (Cediles Boris) und T0-3B mit begrenztem Gedächtnis finanzieren.

Modelle, die mit dieser Methode trainiert wurden:

Sauge Divine: @saugedivine. Ausgebildet auf philosophische, trippige und mystische Inhalte.
La Voix du Bot: @lavoixDubot. Auf französische Nachrichten ausgebildet.

Lora: https://arxiv.org/abs/2106.09685
8-Bit-Optimierer: https://arxiv.org/abs/2110.02861

Twitter: @gustavecortal