ChatGLM TuningダウンロードChatGLM Tuningソースコードのダウンロード

ChatGLM Tuning

AI ソースコード

1.0.0

ダウンロード

chatglm-tuning

手頃な価格のChatGPT実装ソリューション、TsinghuaのChatglm-6b + Loraに基づくFinetune。

データセット：アルパカ

colabを持っている学生は、colabで直接試すことができます：

公式のPtuningコード

デモ

Wenxin Yiyanのオープンソースバージョン

S1 Finetune

準備する

グラフィックカード：グラフィックメモリ> = 16g（できれば24g以上）
環境：
- Python> = 3.8
- Cuda> = 11.6、Cupti、Cudnn、Tensort、およびその他の深い学習環境
- PIP3インストール-R要件.txt要件のインストールパッケージBitsandBytes.txtは、バージョン0.41.2.post2をインストールすることをお勧めします。以前のバージョンでは、エラーを促す場合があります：bitsandbytes/libbitsandbytes_cpu.so：未定義シンボル：cget_col_row_stats

データの前処理

アルパカデータセットをJSONLに変換します

python cover_alpaca2jsonl.py 
    --data_path data/alpaca_data.json 
    --save_path data/alpaca_data.jsonl

トークン化

python tokenize_dataset_rows.py 
    --jsonl_path data/alpaca_data.jsonl 
    --save_path data/alpaca 
    --max_seq_length 200  
    --skip_overlength  False
    --chatglm_path model_path/chatglm
    --version v1

--jsonl_path微調整されたデータパス、フォーマットjsonl、各行の['context']および['ターゲット']フィールドをエンコードします
--save_path出力パス
--max_seq_lengthサンプルの最大長
--chatglm_pathモデルのパスをインポートする（chatglmまたはchatglm2の異なるパスを選択できます）
--versionモデルバージョン（V1はchatglmを指し、v2はchatglm2を指します）

電車

python finetune.py 
    --dataset_path data/alpaca 
    --lora_rank 8 
    --per_device_train_batch_size 6 
    --gradient_accumulation_steps 1 
    --max_steps 52000 
    --save_steps 1000 
    --save_total_limit 2 
    --learning_rate 1e-4 
    --fp16 
    --remove_unused_columns false 
    --logging_steps 50 
    --output_dir output
    --chatglm_path model_path/chat_glm