brocode

A Bro Who Code dengan Anda

---

Ringkasan

Mengapa selalu Python? Mari kita finetune model pembuatan kode hanya untuk naskah!

Dataset

Saya membuat dataset 20K instruct-instript. Ini 20.000 pasang {instruksi, output} yang tidak dapat Anda temukan dalam dataset LLMS pembuatan kode saat ini (atau mungkin Anda bisa)

Untuk outputnya, terima kasih HuggingFace, saya mendapatkan data kode TypeScript dari proyek tumpukan
Untuk instruksi, terima kasih Openai, saya membuat permintaan panggilan 20K API untuk menghasilkan instruksi dan penjelasan untuk data kode tersebut

Pelatihan

• Model Dasar: Ini Kode Llama - Instruksikan 13B
• Metode fine-tuning parameter-efisien: Lora
• Menggunakan penyetelan instruksi dengan dua A100 GPU

Setiap hal lain tentang pelatihan (parameter, log, ...) Anda dapat melihatnya di sini (tautkan tautan metrik pelatihan huggingface nanti)

Hasil

Saya menggunakan patokan multipl-e (Cassano et al., 2023) seperti kode model dasar yang digunakan dalam makalah mereka

(tautkan tabel hasil evaluasi nanti)

Pujian

• Keluarga saya karena terus memberi tahu saya untuk tidak berhenti pada tesis induk ini saat saya seorang pengembang web
• Asosiasi Penasihat Tesis saya. Prof. Quan Thanh Tho karena menginspirasi saya dengan topik ini
• Modal.com untuk membuat langkah pelatihan lebih mudah

Sumber

Anda dapat menemukan karya saya di sini:

• Situs web inferensi: https://brocode.site (saat ini turun dan bukan versi yang benar, tetapi jika saya entah bagaimana menyelesaikan pengaturan server, itu akan ada di sana)
• Dataset: TypeScript-instruct 20k (tolong ping saya jika Anda juga ingin menggunakan ini)
• Model Fine-Tuned: Model TypeScript-Instruct (akan ditautkan nanti, pada akhirnya akan ada di permukaan pelukan saya)

Atau hubungi saya di sini: https://levuminhhuy.site/about

Masa depan

• Bagaimana dengan karat?!