Unduh ChatGLM Tuning - Unduh Kode Sumber ChatGLM Tuning

ChatGLM Tuning

Kode Sumber AI

1.0.0

Unduh

CATGLM-TUNING

Solusi implementasi chatgpt yang terjangkau, Finetune berdasarkan chatglm-6b + lora Tsinghua.

Dataset: Alpaca

Siswa dengan Colab dapat mencobanya langsung di Colab:

Kode Ptuning Resmi

Demo

Versi Sumber Terbuka dari Wenxin Yiyan

S1 Finetune

Mempersiapkan

Kartu Grafik: Memori Grafik> = 16g (lebih disukai 24g atau lebih)
lingkungan:
- Python> = 3.8
- CUDA> = 11.6, Cupti, Cudnn, Tensorrt dan lingkungan belajar yang mendalam lainnya
- Pip3 Instal -R Persyaratan.txt Paket Instalasi Bitsandbytes di Persyaratan.txt disarankan untuk menginstal versi 0.41.2.post2. Versi sebelumnya dapat meminta kesalahan: bitsandbytes/libbitsandbytes_cpu.so: Simbol yang tidak ditentukan: cget_col_row_stats

Preprocessing data

Konversi dataset alpaca ke jsonl

python cover_alpaca2jsonl.py 
    --data_path data/alpaca_data.json 
    --save_path data/alpaca_data.jsonl

Tokenisasi

python tokenize_dataset_rows.py 
    --jsonl_path data/alpaca_data.jsonl 
    --save_path data/alpaca 
    --max_seq_length 200  
    --skip_overlength  False
    --chatglm_path model_path/chatglm
    --version v1

--jsonl_path jalur data yang disesuaikan, format jsonl, encode bidang ['konteks'] dan ['target'] dari setiap baris
Jalur output --save_path
--max_seq_length Panjang maksimum
--chatglm_path untuk mengimpor jalur model (Anda dapat memilih jalur chatglm atau chatglm2 yang berbeda)
--version Model Versi (V1 mengacu pada chatglm, V2 mengacu pada chatglm2)

kereta

python finetune.py 
    --dataset_path data/alpaca 
    --lora_rank 8 
    --per_device_train_batch_size 6 
    --gradient_accumulation_steps 1 
    --max_steps 52000 
    --save_steps 1000 
    --save_total_limit 2 
    --learning_rate 1e-4 
    --fp16 
    --remove_unused_columns false 
    --logging_steps 50 
    --output_dir output
    --chatglm_path model_path/chat_glm