Alpaca 3B Fine Tuned

羊駝-3b-fine

專業與工作有關的項目

在這個項目中，我提供了代碼和一本合同的筆記本，以促進了最初在斯坦福大學開發的羊駝3B參數模型的微調過程。進行微調的特定模型的參數約為30億個參數，這是較小的羊駝模型之一。

該模型使用低級適應性LORA的計算資源和培訓參數較少。我們使用bitsandbytes以8位格式設置和運行，因此可以用於合作制度。此外，HuggingFace的PEFT庫用於微調模型。

超級參數：

1. micro_batch_size = 4（4可與較小的GPU一起使用）
2. batch_size = 256
3. gradient_accumulation_steps = batch_size // micro_batch_size
4. 時代= 2（斯坦福大學的羊駝使用3）
5. Learning_rate = 2E-5（Stanford的羊駝使用2E-5）
6. cutoff_len = 256（斯坦福大學的羊駝使用512，但256個佔數據的96％，運行速度更快）
7. lora_r = 4
8. lora_alpha = 16
9. lora_dropout = 0.05

原始模型的信用：OpenLM Research的Xinyang（Young）Geng和Hao Liu

微調模型：ryanair/羊駝-3b-fine-tuned（huggingface）