gpt j fine tuning example

Тонкая настройка 6-миллиарда GPT-J (и другие модели) в колабах с LORA и 8-битным сжатием

Этот ноутбук является простым примером для точной настройки GPT-J-6B с ограниченной памятью. Подробное объяснение того, как это работает, можно найти на этой модельной карте. Это в значительной степени основано на этой колабах. Огромное спасибо Hivemind!

Вы также можете Finetune GPT-neo-2,7B, французский GPT-J (Cedille's Boris) и T0-3B с ограниченной памятью.

Модели, обученные этим методом:

Sauge Divine: @saugedivine. Обучен философскому, триппи и мистическому содержанию.
La Voix du Bot: @lavoixdubot. Обучен на французских новостях.

LORA: https://arxiv.org/abs/2106.09685
8-битные оптимизаторы: https://arxiv.org/abs/2110.02861

Twitter: @gustavecortal