Alpaca 350M Fine Tuned

ALPACA-350M-FINE-TUND

Professionelles arbeitsbezogenes Projekt

In diesem Projekt habe ich Code und ein Colaboratory-Notizbuch bereitgestellt, das den Feinabstimmungsprozess eines Alpaca 350m-Parametermodells erleichtert, das ursprünglich an der Stanford University entwickelt wurde. Das spezielle Modell, das fein abgestimmt wird, hat rund 350 Millionen Parameter, was eines der kleineren Alpaka-Modelle ist (kleiner als mein vorheriges feinstimmiges Modell).

Das Modell verwendet LORA mit niedrigem Anpassung, um mit weniger Rechenressourcen und Trainingsparametern auszuführen. Wir verwenden BitsandBytes, um in einem 8-Bit-Format einzurichten und auszuführen, damit es auf Colaboratory verwendet werden kann. Darüber hinaus wurde die PEFT-Bibliothek von Huggingface zur Feinabstimmung des Modells verwendet.

Hyperparameter:

1. Micro_batch_size = 4 (4 funktioniert mit einer kleineren GPU)
2. Batch_size = 32
3. Gradient_accumulation_steps = batch_size // micro_batch_size
4. Epochs = 2 (Stanfords Alpaka verwendet 3)
5. Learning_Rate = 2E-5 (Stanfords Alpaka verwendet 2E-5)
6. Cutoff_len = 256 (Stanfords Alpaca verwendet 512, aber 256 machen 96% der Daten aus und läuft weitaus schneller)
7. Lora_r = 4
8. Lora_alpha = 16
9. Lora_dropout = 0,05

Gutschrift für Originalmodell: Qiyuan GE

Feinabstimmungsmodell: Ryanair/Alpaca-350m-Fine-abgestimmt (Umarmung)