Alpaca 350M Fine Tuned

Alpaca-350m-halus disesuaikan

Proyek terkait pekerjaan profesional

Dalam proyek ini, saya telah memberikan kode dan buku catatan colaboratory yang memfasilitasi proses penyempurnaan dari model parameter 350m ALPACA yang awalnya dikembangkan di Stanford University. Model khusus yang disempurnakan memiliki sekitar 350 juta parameter, yang merupakan salah satu model alpaka yang lebih kecil (lebih kecil dari model fine-tuned saya sebelumnya).

Model ini menggunakan adaptasi rendah LORA untuk berjalan dengan lebih sedikit sumber daya komputasi dan parameter pelatihan. Kami menggunakan Bitsandbytes untuk mengatur dan menjalankan dalam format 8-bit sehingga dapat digunakan pada colaboratory. Selain itu, perpustakaan PEFT dari Huggingface digunakan untuk menyempurnakan model.

Parameter hiper:

1. Micro_batch_size = 4 (4 bekerja dengan GPU yang lebih kecil)
2. Batch_size = 32
3. Gradient_accumulation_steps = batch_size // micro_batch_size
4. Epochs = 2 (Stanford's Alpaca menggunakan 3)
5. Learning_rate = 2e-5 (Alpaca Stanford menggunakan 2E-5)
6. Cutoff_len = 256 (Stanford's Alpaca menggunakan 512, tetapi 256 menyumbang 96% dari data dan berjalan jauh lebih cepat)
7. Lora_r = 4
8. Lora_alpha = 16
9. Lora_dropout = 0,05

Kredit untuk Model Asli: Qiyuan GE

Model Fine-Tuned: Ryanair/Alpaca-350m-Fine-Tuned (Huggingface)