Alpaca 3B Fine Tuned

Alpaca-3b-fine-tuned

Proyek terkait pekerjaan profesional

Dalam proyek ini, saya telah memberikan kode dan buku catatan colaboratory yang memfasilitasi proses penyempurnaan dari model parameter Alpaca 3B yang awalnya dikembangkan di Stanford University. Model khusus yang disempurnakan memiliki sekitar 3 miliar parameter, yang merupakan salah satu model alpaka yang lebih kecil.

Model ini menggunakan adaptasi rendah LORA untuk berjalan dengan lebih sedikit sumber daya komputasi dan parameter pelatihan. Kami menggunakan Bitsandbytes untuk mengatur dan menjalankan dalam format 8-bit sehingga dapat digunakan pada colaboratory. Selain itu, perpustakaan PEFT dari Huggingface digunakan untuk menyempurnakan model.

Parameter hiper:

1. Micro_batch_size = 4 (4 bekerja dengan GPU yang lebih kecil)
2. Batch_size = 256
3. Gradient_accumulation_steps = batch_size // micro_batch_size
4. Epochs = 2 (Stanford's Alpaca menggunakan 3)
5. Learning_rate = 2e-5 (Alpaca Stanford menggunakan 2E-5)
6. Cutoff_len = 256 (Stanford's Alpaca menggunakan 512, tetapi 256 menyumbang 96% dari data dan berjalan jauh lebih cepat)
7. Lora_r = 4
8. Lora_alpha = 16
9. Lora_dropout = 0,05

Kredit untuk Model Asli: Xinyang (Young) Geng dan Hao Liu dari OpenLM Research

Model Fine-Tuned: Ryanair/Alpaca-3b-Fine-Tuned (Huggingface)