simple llm finetuner

judul	emoji	warna dari	Colorto	SDK	app_file	disematkan
Finetuner llm sederhana	?	kuning	oranye	gradio	app.py	PALSU

??? Proyek ini secara efektif mati. Harap gunakan salah satu alat berikut sebagai gantinya:

• https://github.com/hiyouga/llama-factory
• https://github.com/unslothai/unsloth
• https://github.com/oobabooga/text-generation-webui

---

? Finetuner llm sederhana

Simple LLM Finetuner adalah antarmuka yang ramah-pemula yang dirancang untuk memfasilitasi penyempurnaan berbagai model bahasa menggunakan metode LORA melalui pustaka PEFT pada GPU NVIDIA komoditas. Dengan dataset kecil dan panjang sampel 256, Anda bahkan dapat menjalankan ini pada instance Colab Tesla T4 biasa.

Dengan UI intuitif ini, Anda dapat dengan mudah mengelola dataset Anda, menyesuaikan parameter, melatih, dan mengevaluasi kemampuan inferensi model.

Ucapan Terima Kasih

• https://github.com/zphang/minimal-llama/
• https://github.com/tloen/alpaca-lora
• https://github.com/huggingface/peft

Fitur

• Cukup tempel kumpulan data di UI, dipisahkan oleh garis kosong ganda
• Parameter yang dapat disesuaikan untuk fine-tuning dan inferensi
• UI ramah-pemula dengan penjelasan untuk setiap parameter

Memulai

Prasyarat

• Linux atau WSL
• GPU NVIDIA modern dengan> = 16 GB VRAM (tetapi dimungkinkan untuk berjalan dengan lebih sedikit untuk panjang sampel yang lebih kecil)

Penggunaan

Saya sarankan menggunakan lingkungan virtual untuk menginstal paket yang diperlukan. Conda lebih disukai.

 conda create -n simple-llm-finetuner python=3.10
conda activate simple-llm-finetuner
conda install -y cuda -c nvidia/label/cuda-11.7.0
conda install -y pytorch=2 pytorch-cuda=11.7 -c pytorch

Di WSL, Anda mungkin perlu menginstal CUDA secara manual dengan mengikuti langkah -langkah ini, kemudian menjalankan yang berikut sebelum Anda meluncurkan:

 export LD_LIBRARY_PATH=/usr/lib/wsl/lib

Kloning repositori dan instal paket yang diperlukan.

 git clone https://github.com/lxe/simple-llm-finetuner.git
cd simple-llm-finetuner
pip install -r requirements.txt

Luncurkan

 python app.py

Buka http://127.0.0.1:7860/ Di browser Anda. Siapkan data pelatihan Anda dengan memisahkan setiap sampel dengan 2 baris kosong. Tempel seluruh dataset pelatihan ke dalam kotak teks. Tentukan nama adaptor LORA baru di kotak teks "nama adaptor baru", lalu klik kereta api. Anda mungkin perlu menyesuaikan panjang urutan maksimal dan ukuran batch agar sesuai dengan memori GPU Anda. Model akan disimpan di direktori lora/ .

Setelah pelatihan selesai, arahkan ke tab "Inference", pilih Lora Anda, dan mainkan dengannya.

Selamat bersenang-senang!

WalkTheugh YouTube

https://www.youtube.com/watch?v=ym1wandknz8

Lisensi

Lisensi MIT