Fine_tune_Anything

Repositori yang menyempurnakan untuk model bahasa kausal

Ringkasan ?

Repositori ini menawarkan alat untuk menyempurnakan model bahasa kausal, memanfaatkan kekuatan pustaka PEFT (Pytorch efisien fine-tuning). Ini dirancang untuk meningkatkan pembuatan kode yang disesuaikan dengan repositori tertentu.

Fitur

• Model fleksibilitas ?: Muat model bahasa sebab akibat.
• Pengaturan berbasis konfigurasi : Mudah menentukan pemilihan model dan tokenisasi melalui file conf/config.yaml .
• Fine-tuning yang efisien ? ‍♂️: Saat ini menggunakan LORA (adaptasi rendah) melalui pustaka PEFT. Lebih banyak metode segera hadir!
• Siap masa depan ?: Tetap disini untuk metode pelatihan untuk instruksi dan model QA.

Memulai?

Prasyarat?

• Python 3.x?
• Pytorch
• Perpustakaan Peft
• Ketergantungan lain yang tercantum dalam requirements.txt

Instalasi?

1. Klon The Repository: git clone [repository URL] : git:
2. Tempatkan tempat untuk menyimpan data mkdir data pastikan untuk memperbarui config.yaml sesuai.
3. Instal Paket yang Diperlukan: pip install -r requirements.txt

Konfigurasi

Tweak file confconfig.yaml untuk mengatur model dan parameter tokenisasi Anda.

Penggunaan

Kick off proses penyempurnaan dengan menjalankan skrip utama ( python main.py ). Fine Tuned Model akan disimpan dalam direktori yang ditentukan dalam config.yaml -> "optimisasi" -> result_dir.

Berkontribusi?

Kami menyambut kontribusi Anda untuk membuat alat ini lebih efisien dan kaya fitur. Harap patuhi pedoman kontribusi open-source standar.

Lisensi?

Lisensi Apache 2.0