ดาวน์โหลด ChatGLM Tuning - ChatGLM Tuning source source download

ChatGLM Tuning

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

chatglm-tuning

โซลูชันการใช้งาน CHATGPT ราคาไม่แพง Finetune ตาม Chatglm-6b + Lora ของ Tsinghua

ชุดข้อมูล: Alpaca

นักเรียนที่มี colab สามารถลองได้โดยตรงบน colab:

รหัส ptuning อย่างเป็นทางการ

การสาธิต

เวอร์ชันโอเพ่นซอร์สของ Wenxin Yiyan

S1 Finetune

เตรียมตัว

การ์ดกราฟิก: หน่วยความจำกราฟิก> = 16G (ควร 24G หรือสูงกว่า)
สิ่งแวดล้อม:
- Python> = 3.8
- cuda> = 11.6, Cupti, Cudnn, Tensorrt และสภาพแวดล้อมการเรียนรู้ลึกอื่น ๆ
- PIP3 Install -r chende.txt แพ็คเกจการติดตั้ง Bitsandbytes ในข้อกำหนดขอแนะนำให้ติดตั้งเวอร์ชัน 0.41.2.post2 เวอร์ชันก่อนหน้าอาจแจ้งข้อผิดพลาด: Bitsandbytes/libbitsandbytes_cpu.so: สัญลักษณ์ที่ไม่ได้กำหนด: cget_col_row_stats

การประมวลผลข้อมูลล่วงหน้า

แปลงชุดข้อมูล ALPACA เป็น JSONL

python cover_alpaca2jsonl.py 
    --data_path data/alpaca_data.json 
    --save_path data/alpaca_data.jsonl

การทำให้โทเค็น

python tokenize_dataset_rows.py 
    --jsonl_path data/alpaca_data.jsonl 
    --save_path data/alpaca 
    --max_seq_length 200  
    --skip_overlength  False
    --chatglm_path model_path/chatglm
    --version v1

--jsonl_path เส้นทางข้อมูลที่ปรับแต่งได้รูปแบบ JSONL เข้ารหัสฟิลด์ ['บริบท'] และ ['เป้าหมาย'] ของแต่ละแถว
--save_path
--max_seq_length ความยาวตัวอย่างสูงสุดตัวอย่างสูงสุด
--chatglm_path เพื่อนำเข้าเส้นทางของรุ่น (คุณสามารถเลือกเส้นทางที่แตกต่างกันของ chatglm หรือ chatglm2)
--version เวอร์ชันเวอร์ชัน (V1 หมายถึง chatglm, v2 หมายถึง chatglm2)

รถไฟ

python finetune.py 
    --dataset_path data/alpaca 
    --lora_rank 8 
    --per_device_train_batch_size 6 
    --gradient_accumulation_steps 1 
    --max_steps 52000 
    --save_steps 1000 
    --save_total_limit 2 
    --learning_rate 1e-4 
    --fp16 
    --remove_unused_columns false 
    --logging_steps 50 
    --output_dir output
    --chatglm_path model_path/chat_glm