Alpaca 350M Fine Tuned

羊驼-350m-fine

专业与工作有关的项目

在这个项目中，我提供了代码和一本合同的笔记本，以促进了最初在斯坦福大学开发的羊驼350m参数模型的微调过程。进行微调的特定模型的参数约为3.5亿个参数，这是较小的羊驼模型之一（比我以前的微型模型小）。

该模型使用低级适应性LORA的计算资源和培训参数较少。我们使用bitsandbytes以8位格式设置和运行，因此可以用于合作制度。此外，HuggingFace的PEFT库用于微调模型。

超级参数：

1. micro_batch_size = 4（4可与较小的GPU一起使用）
2. batch_size = 32
3. gradient_accumulation_steps = batch_size // micro_batch_size
4. 时代= 2（斯坦福大学的羊驼使用3）
5. Learning_rate = 2E-5（Stanford的羊驼使用2E-5）
6. cutoff_len = 256（斯坦福大学的羊驼使用512，但256个占数据的96％，运行速度更快）
7. lora_r = 4
8. lora_alpha = 16
9. lora_dropout = 0.05

原始模型的信用：Qiyuan GE

微调模型：Ryanair/羊驼-350m-Fine-Fine-tuned（Huggingface）