تنزيل ChatGLM Tuning - ChatGLM Tuning

ChatGLM Tuning

كود الذكاء الاصطناعي

1.0.0

تنزيل

تشات Growm

حل تنفيذ ChatGPT بأسعار معقولة ، Finetune يعتمد على Tsinghua's ChatGlm-6B + Lora.

مجموعة البيانات: الألبكة

يمكن للطلاب الذين يعانون من كولاب تجربته مباشرة على كولاب:

رمز ptuning الرسمي

العرض التوضيحي

إصدار مفتوح المصدر من Wenxin Yiyan

S1 Finetune

يحضر

بطاقة الرسومات: ذاكرة الرسومات> = 16g (ويفضل أن يكون 24 جم أو أعلى)
بيئة:
- بيثون> = 3.8
- CUDA> = 11.6 ، Cupti ، Cudnn ، Tensorrt وبيئات التعلم العميق الأخرى
- PIP3 تثبيت -REGRESS.TXT حزمة التثبيت BITSANDBYTES في المتطلبات. ينصح txt بتثبيت الإصدار 0.41.2.POST2. قد تطالب الإصدارات السابقة بالخطأ: BitsandBytes/libbitsandbytes_cpu.so: رمز غير محدد: CGET_COL_ROW_STATS

البيانات المسبقة للبيانات

تحويل مجموعة بيانات الألبكة إلى JSONL

python cover_alpaca2jsonl.py 
    --data_path data/alpaca_data.json 
    --save_path data/alpaca_data.jsonl

الرمز المميز

python tokenize_dataset_rows.py 
    --jsonl_path data/alpaca_data.jsonl 
    --save_path data/alpaca 
    --max_seq_length 200  
    --skip_overlength  False
    --chatglm_path model_path/chatglm
    --version v1

--jsonl_path مسار البيانات المضبط الدقيق ، تنسيق JSONL ، وترميز الحقول ['context'] و ['Target'] لكل صف
-مسار الإخراج --save_path
--max_seq_length عينة الحد الأقصى الطول
--chatglm_path لاستيراد مسار النموذج (يمكنك اختيار مسارات مختلفة من ChatGlm أو ChatGlm2)
--version نموذج version (يشير V1 إلى ChatGlm ، يشير V2 إلى ChatGlm2)

يدرب

python finetune.py 
    --dataset_path data/alpaca 
    --lora_rank 8 
    --per_device_train_batch_size 6 
    --gradient_accumulation_steps 1 
    --max_steps 52000 
    --save_steps 1000 
    --save_total_limit 2 
    --learning_rate 1e-4 
    --fp16 
    --remove_unused_columns false 
    --logging_steps 50 
    --output_dir output
    --chatglm_path model_path/chat_glm