Starcoder2 Finetune Code Completion

Highlight

Proyek ini menunjukkan proses menyempurnakan model StarCoder2-3B, LLM yang menghasilkan kode, pada kode hak milik, yang dapat kami bayangkan sebagai basis kode internal perusahaan, untuk lebih selaras dengan standar pengkodean internal dan memanfaatkan perpustakaan khusus. Mengingat ukuran substansial dari model-model ini, pendekatan penyempurnaan tradisional dapat terlalu menuntut sumber daya komputasi. Namun, kami akan memperkenalkan teknik untuk secara efektif menyempurnakan model-model ini hanya pada satu GPU menggunakan qlora, peft, dan bit dan byte, memastikan pendekatan yang lebih praktis untuk lingkungan terbatas sumber daya.