gpt j fine tuning example

Fine-tuning 6 miliar GPT-J (& model lain) di Colab dengan Lora dan kompresi 8-bit

Buku catatan ini adalah contoh sederhana untuk menyempurnakan GPT-J-6B dengan memori terbatas. Penjelasan terperinci tentang cara kerjanya dapat ditemukan di kartu model ini. Ini sangat didasarkan pada colab ini. Terima kasih banyak untuk Hivemind!

Anda juga dapat finetune GPT-NEO-12.7B, GPT-J Prancis (Cedille's Boris) dan T0-3B dengan memori terbatas.

Model yang dilatih dengan metode ini:

Sauge Divine: @saugedivine. Dilatih tentang konten filosofis, trippy dan mistis.
La Voix du Bot: @LavoixDubot. Dilatih di berita Prancis.

Lora: https://arxiv.org/abs/2106.09685
8-Bit Optimizers: https://arxiv.org/abs/2110.02861

Twitter: @gustavecortal