Finetune LLAMA 2 On Your DataSet AutoTrain From Hugging Face

Fine-tuning dan inferensi dengan model LLAMA-3.1-8B

Proyek ini menunjukkan cara menyempurnakan model LLAMA-3.1-8B menggunakan adapter LORA, menerapkan templat obrolan, dan menyimpan model untuk inferensi. Model ini dilatih pada data lokal, dioptimalkan untuk pelatihan yang efisien parameter, dan digunakan ke hub wajah yang memeluk.

Ringkasan

• Model : LLAMA-3.1-8B dengan kuantisasi 4-bit untuk penggunaan memori yang efisien.
• Teknik : Fine-tuning menggunakan adaptor LORA (adaptasi rendah), gradien checkpointing, dan templat obrolan.
• Data : File CSV lokal khusus digunakan untuk pelatihan.
• Sasaran : Melatih dan menggunakan model chatbot yang mampu menangani input pengguna dalam format berbasis percakapan.

Fitur

• Adaptor Lora : Parameter-efisien fine-tuning.
• Kuantisasi : Penggunaan memori yang efisien dengan presisi 4-bit.
• Template obrolan : Alur percakapan terstruktur dengan tokenisasi.
• Penyebaran Model : Menyimpan dan mendorong model untuk memeluk hub wajah dalam format kuantisasi yang berbeda.

Instalasi

Untuk menjalankan proyek ini, Anda harus menginstal paket yang diperlukan. Anda dapat mengatur ini di Google Colab atau lingkungan lokal Anda:

pip install torch transformers datasets pandas unsloth trl