alpaca 7b chinese

???? Finetune llama-7b dengan set data instruksi Cina

Untuk lebih banyak metode finetune untuk LLM, silakan lihat LLM-Finetune-Guide

Repositori ini adalah tutorial untuk Finetuning Llama-7b dengan set data Cina! Saya mensurvei dan menggabungkan dataset & metode untuk finetuning LLM saya sendiri untuk tugas -tugas NLP yang kompleks seperti ringkasan, penjawab pertanyaan, pembuatan teks, augmentasi data khusus, dll.

Karena Finetune Stanford Alpaca-7b asli membutuhkan banyak sumber daya GPU, saya fokus pada survei metode dengan konsumsi GPU yang rendah.

Jadi inilah cara mereproduksi:

Instalasi

1. Pasang persyaratan

$ pip install -r requirements.txt

2. Instal Pytorch pada versi yang kompatibel dengan CUDA

$ pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116

Kumpulan data

Repositori ini menggabungkan semua dataset menggunakan konstruksi bahasa Inggris, konstruksi output Cina:

1. alpaca_data.json : Dataset asli dari Stanford Alpaca
2. alpaca_data_cleansed.json : pembersihan dengan gururise/alpacadatacleaned
3. alpaca-zhCN.json : diterjemahkan oleh carbonz0/alpaca-chinese-dataset
4. alpaca-zhTW.json : Terjemahkan ke Cina Tradisional Menggunakan OpenCC
5. alpaca-en-zh.json : Gabungkan instruksi/input bahasa Inggris dan output Cina oleh ntunlplab/tradisional-Cina-Alpaca: (Dataset Tradisional Cina diterjemahkan oleh chatgpt API ( gpt-3.5-turbo ) oleh Ntunlplab/Tradisional-Chinese-Alpaca (perbarui pada 2023.03.29)

Finetune

Metode Referensi Finetune disediakan oleh tloen/alpaca-lora

1. Jalankan 1 GPU dengan colab: https://colab.research.google.com/drive/1qvtrjpikkknksbwg766sigbbw2tqrd5?usp=sharing

• LLaMA

  $ cd finetune/
  $ python finetune.py --base_model decapoda-research/llama-7b-hf --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/llama-7b-hf_alpaca-en-zh --lora_target_modules ' ["q_proj", "v_proj"] '

• BLOOM

  $ cd finetune/
  $ python finetune.py --base_model bigscience/bloomz-7b1-mt --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/bloomz-7b1-mt_alpaca-en-zh --lora_target_modules ' ["query_key_value"] '

2. Gunakan torchrun untuk Pelatihan Terdistribusi pada Multi-GPU

• LLaMA

  $ cd finetune/
  $ torchrun --standalone --nnodes=1 --nproc_per_node=4 finetune.py --base_model decapoda-research/llama-7b-hf --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/llama-7b-hf_alpaca-en-zh --lora_target_modules ' ["q_proj", "v_proj"] '

• BLOOM

  $ cd finetune/
  $ torchrun --standalone --nnodes=1 --nproc_per_node=4 finetune.py --base_model bigscience/bloomz-7b1-mt --data_dir ../data/alpaca-en-zh.json --output_dir ../finetuned/bloomz-7b1-mt_alpaca-en-zh --lora_target_modules ' ["query_key_value"] '

Tugas domain finetune

Saya telah mengumpulkan tugas domain yang berbeda di repositori saya: Instruksi-Finetune-Datasets

Selamat datang bersama! Silakan hubungi saya di: [email protected] . Saya ingin mencoba tugas dari berbagai domain seperti investasi, penipuan, e-commerce, hukum, perawatan kesehatan, ...

Model porsi

Untuk melayani layanan model Anda sendiri melalui API & Situs Web Sederhana UI!

1. API Model

   $ cd serve/
   $ python api.py

2. demo ui

   $ cd serve/
   $ python ui.py

Pelajari lebih lanjut

Saya mengatur metode finetune untuk llm di llm-finetune-guide

Saya mengkuratori banyak metode yang mencoba menjalankan model bahasa besar dengan sumber daya GPU yang lebih sedikit:

• Peft
• Lora
• Flexgen ...

Lihat Daftar Lengkap: Chatgpt-Alternatif

 @misc{alpaca-7b-chinese,
  author = {JiunYi Yang},
  title = {Alpaca-7B Chinese: Finetune LLaMA-7B with Chinese instruction datasets},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/A-baoYang/alpaca-7b-chinese}},
}