LLM Finetuning Toolkit

LLM Finetuning Toolkit

Ringkasan

LLM Finetuning Toolkit adalah alat CLI berbasis konfigurasi untuk meluncurkan serangkaian percobaan penyempurnaan LLM pada data Anda dan mengumpulkan hasilnya. Dari satu file konfigurasi yaml tunggal, kontrol semua elemen dari pipa eksperimen khas - prompt , llms open -source , strategi optimasi dan pengujian LLM .

Instalasi

PIPX (disarankan)

PIPX menginstal paket dan dependensi di lingkungan virtual yang terpisah

pipx install llm-toolkit

Pip

pip install llm-toolkit

Awal yang cepat

Panduan ini berisi 3 tahap yang akan memungkinkan Anda untuk mendapatkan hasil maksimal dari toolkit ini!

• BASIC : Jalankan eksperimen fine-tuning LLM pertama Anda
• Menengah : Jalankan Eksperimen Kustom dengan Mengubah Komponen File Konfigurasi YAML
• Lanjutan : Luncurkan serangkaian eksperimen penyempurnaan di berbagai templat prompt yang berbeda, LLM, teknik optimasi-semua melalui satu file konfigurasi YAML

Dasar

llmtune generate config
llmtune run ./config.yml

Perintah pertama menghasilkan file config.yml starter yang bermanfaat dan menyimpan di direktori kerja saat ini. Ini diberikan kepada pengguna untuk memulai dengan cepat dan sebagai basis untuk modifikasi lebih lanjut.

Kemudian perintah kedua memulai proses fine-tuning menggunakan pengaturan yang ditentukan dalam config.yaml file konfigurasi YAML default.yaml.

Intermediat

File konfigurasi adalah bagian utama yang mendefinisikan perilaku toolkit. Ini ditulis dalam format YAML dan terdiri dari beberapa bagian yang mengontrol berbagai aspek proses, seperti konsumsi data, definisi model, pelatihan, inferensi, dan jaminan kualitas. Kami menyoroti beberapa bagian penting.

Perhatian Flash 2

Untuk mengaktifkan perhatian flash untuk model yang didukung. Instal pertama flash-attn :

pipx

pipx inject llm-toolkit flash-attn --pip-args=--no-build-isolation

Pip

 pip install flash-attn --no-build-isolation

Kemudian, tambahkan ke file konfigurasi.

 model :
  torch_dtype : " bfloat16 " # or "float16" if using older GPU
  attn_implementation : " flash_attention_2 " 

Konsumsi data

Contoh dari apa konsumsi data itu terlihat:

 data :
  file_type : " huggingface "
  path : " yahma/alpaca-cleaned "
  prompt :
    # ## Instruction: {instruction}
    # ## Input: {input}
    # ## Output:
  prompt_stub : { output }
  test_size : 0.1 # Proportion of test as % of total; if integer then # of samples
  train_size : 0.9 # Proportion of train as % of total; if integer then # of samples
  train_test_split_seed : 42

• Sementara contoh di atas menggambarkan menggunakan dataset publik dari memeluk wajah, file konfigurasi juga dapat menelan data Anda sendiri.

   file_type : " json "
   path : " <path to your data file> 

   file_type : " csv "
   path : " <path to your data file>

• Bidang prompt membantu membuat instruksi untuk menyempurnakan LLM. Ini membaca data dari kolom tertentu, disebutkan dalam braket {}, yang ada dalam dataset Anda. Dalam contoh yang disediakan, diharapkan file data memiliki nama kolom: instruction , input dan output .

• Bidang prompt menggunakan prompt dan prompt_stub selama penyesuaian. Namun, selama pengujian, hanya bagian prompt yang digunakan sebagai input ke LLM yang disempurnakan.

Definisi LLM

 model :
  hf_model_ckpt : " NousResearch/Llama-2-7b-hf "
  quantize : true
  bitsandbytes :
    load_in_4bit : true
    bnb_4bit_compute_dtype : " bf16 "
    bnb_4bit_quant_type : " nf4 "

# LoRA Params -------------------
lora :
  task_type : " CAUSAL_LM "
  r : 32
  lora_dropout : 0.1
  target_modules :
    - q_proj
    - v_proj
    - k_proj
    - o_proj
    - up_proj
    - down_proj
    - gate_proj

• Sementara contoh di atas menampilkan menggunakan LLAMA2 7B, secara teori, setiap LLM open-source yang didukung oleh memeluk wajah dapat digunakan dalam toolkit ini.

 hf_model_ckpt : " mistralai/Mistral-7B-v0.1 " 

 hf_model_ckpt : " tiiuae/falcon-7b "

• Parameter untuk Lora, seperti peringkat r dan putus sekolah, dapat diubah.

 lora :
  r : 64
  lora_dropout : 0.25 

Jaminan kualitas

 qa :
  llm_metrics :
    - length_test
    - word_overlap_test

• Untuk memastikan bahwa LLM yang disempurnakan berperilaku seperti yang diharapkan, Anda dapat menambahkan tes yang memeriksa apakah perilaku yang diinginkan sedang tercapai. Contoh: Untuk LLM disesuaikan untuk tugas peringkasan, kami mungkin ingin memeriksa apakah ringkasan yang dihasilkan memang panjangnya lebih kecil daripada teks input. Kami juga ingin mempelajari tumpang tindih antara kata -kata dalam teks asli dan ringkasan yang dihasilkan.

Output artefak

Konfigurasi ini akan menjalankan penyesuaian dan menyimpan hasil di bawah direktori ./experiment/[unique_hash] . Setiap konfigurasi yang unik akan menghasilkan hash yang unik, sehingga alat kami dapat secara otomatis mengambil tempat yang ditinggalkan. Misalnya, jika Anda perlu keluar di tengah pelatihan, dengan meluncurkan kembali skrip, program akan secara otomatis memuat dataset yang ada yang telah dihasilkan di bawah direktori, alih -alih melakukannya lagi.

Setelah skrip selesai berjalan, Anda akan melihat artefak yang berbeda ini:

/dataset # generated pkl file in hf datasets format
/model # peft model weights in hf format
/results # csv of prompt, ground truth, and predicted values
/qa # csv of test results: e.g. vector similarity between ground truth and prediction

Setelah semua perubahan telah dimasukkan dalam file YAML, Anda dapat menggunakannya untuk menjalankan eksperimen fine-tuning khusus!

python toolkit.py --config-path < path to custom YAML file >

Canggih

Alur kerja yang menyempurnakan biasanya melibatkan menjalankan studi ablasi di berbagai LLM, desain cepat dan teknik optimasi. File konfigurasi dapat diubah untuk mendukung menjalankan studi ablasi.

• Tentukan berbagai templat prompt untuk bereksperimen saat menyempurnakan.

 data :
  file_type : " huggingface "
  path : " yahma/alpaca-cleaned "
  prompt :
    - >-
      This is the first prompt template to iterate over
      ### Input: {input}
      ### Output:
    - >-
      This is the second prompt template
      ### Instruction: {instruction}
      ### Input: {input}
      ### Output:
  prompt_stub : { output }
  test_size : 0.1 # Proportion of test as % of total; if integer then # of samples
  train_size : 0.9 # Proportion of train as % of total; if integer then # of samples
  train_test_split_seed : 42

• Tentukan berbagai LLM yang ingin Anda bereksperimen.

 model :
  hf_model_ckpt :
    [
      " NousResearch/Llama-2-7b-hf " ,
      mistralai/Mistral-7B-v0.1",
      " tiiuae/falcon-7b " ,
    ]
  quantize : true
  bitsandbytes :
    load_in_4bit : true
    bnb_4bit_compute_dtype : " bf16 "
    bnb_4bit_quant_type : " nf4 "

• Tentukan konfigurasi Lora yang berbeda yang ingin Anda ikuti.

 lora :
  r : [16, 32, 64]
  lora_dropout : [0.25, 0.50] 

Memperpanjang

Toolkit ini menyediakan arsitektur yang modular dan dapat diperluas yang memungkinkan pengembang untuk menyesuaikan dan meningkatkan fungsinya sesuai dengan kebutuhan spesifik mereka. Setiap komponen toolkit, seperti konsumsi data, penyesuaian, inferensi, dan pengujian jaminan kualitas, dirancang agar mudah diperpanjang.

Berkontribusi

Kontribusi sumber terbuka untuk toolkit ini dipersilakan dan didorong. Jika Anda ingin berkontribusi, silakan lihat Contributing.md.