gpt j fine tuning example

LORA와 8 비트 압축과 함께 Colab에서 미세 조정 6 억 GPT-J (및 기타 모델)

이 노트북은 메모리가 제한된 GPT-J-6B를 미세 조정하기위한 간단한 예입니다. 작동 방식에 대한 자세한 설명은이 모델 카드에서 찾을 수 있습니다. 그것은이 콜랩을 기반으로합니다. Hivemind에게 감사합니다!

메모리가 제한된 GPT-Neo-2.7B, 프랑스어 GPT-J (Cedille 's Boris) 및 T0-3B를 미세하게 할 수도 있습니다.

이 방법으로 훈련 된 모델 :

Sauge Divine : @saugedivine. 철학적, 트립피 및 신비로운 내용에 대해 교육을 받았습니다.
La Voix du Bot : @lavoixdubot. 프랑스 뉴스에 대한 교육.

로라 : https://arxiv.org/abs/2106.09685
8-bit Optimizers : https://arxiv.org/abs/2110.02861

트위터 : @GustaveCortal