Alpaca 3B Fine Tuned

ALPACA-3B-FINE-TUND

Professionelles arbeitsbezogenes Projekt

In diesem Projekt habe ich Code und ein colaboratorisches Notizbuch bereitgestellt, das den Feinabstimmungsprozess eines Alpaca 3B-Parametermodells erleichtert, das ursprünglich an der Stanford University entwickelt wurde. Das spezielle Modell, das fein abgestimmt wird, hat rund 3 Milliarden Parameter, was eines der kleineren Alpaka-Modelle ist.

Das Modell verwendet LORA mit niedrigem Anpassung, um mit weniger Rechenressourcen und Trainingsparametern auszuführen. Wir verwenden BitsandBytes, um in einem 8-Bit-Format einzurichten und auszuführen, damit es auf Colaboratory verwendet werden kann. Darüber hinaus wurde die PEFT-Bibliothek von Huggingface zur Feinabstimmung des Modells verwendet.

Hyperparameter:

1. Micro_batch_size = 4 (4 funktioniert mit einer kleineren GPU)
2. Batch_size = 256
3. Gradient_accumulation_steps = batch_size // micro_batch_size
4. Epochs = 2 (Stanfords Alpaka verwendet 3)
5. Learning_Rate = 2E-5 (Stanfords Alpaka verwendet 2E-5)
6. Cutoff_len = 256 (Stanfords Alpaca verwendet 512, aber 256 machen 96% der Daten aus und läuft weitaus schneller)
7. Lora_r = 4
8. Lora_alpha = 16
9. Lora_dropout = 0,05

Gutschrift für Originalmodell: Xinyang (Young) Geng und Hao Liu von OpenLM Research

Feinabstimmungsmodell: Ryanair/Alpaca-3b-Fine-Abtun (Huggingface)