ChatGLM Tuning

Chatgglm-tun

Une solution de mise en œuvre de ChatGPT abordable, Finetune basée sur le chatGLM-6B + Lora de Tsinghua.

Ensemble de données: alpaga

Les étudiants avec Colab peuvent l'essayer directement sur Colab:

Code de ptuning officiel

Démo

• Version open source de Wenxin Yiyan

S1 Finetune

Préparer

• Carte graphique: mémoire graphique> = 16g (de préférence 24g ou plus)
• environnement:
• • Python> = 3,8
• • Cuda> = 11,6, Cupti, Cudnn, Tensorrt et autres environnements d'apprentissage en profondeur
• • PIP3 Install -R exigences.txt Le package d'installation bitsandbytes dans exigences.txt est recommandé pour installer la version 0.41.2.20. Les versions précédentes peuvent provoquer une erreur: bitsandbytes / libbitsandbytes_cpu.so: symbole non défini: cget_col_row_stats

Prétraitement des données

Convertir le jeu de données alpaca en JSONL

python cover_alpaca2jsonl.py 
    --data_path data/alpaca_data.json 
    --save_path data/alpaca_data.jsonl 
    

tokenisation

python tokenize_dataset_rows.py 
    --jsonl_path data/alpaca_data.jsonl 
    --save_path data/alpaca 
    --max_seq_length 200  
    --skip_overlength  False
    --chatglm_path model_path/chatglm
    --version v1                 
    

• --jsonl_path Chemin de données affinés, format JSONL, encodez les champs [«contextes»] et [«Target»] de chaque ligne
• --save_path Sortie Chemin
• --max_seq_length échantillon maximum longueur
• --chatglm_path pour importer le chemin du modèle (vous pouvez choisir différents chemins de chatglm ou chatglm2)
• - Version du modèle --version (V1 fait référence à chatGLM, V2 fait référence à chatGlm2)

former

python finetune.py 
    --dataset_path data/alpaca 
    --lora_rank 8 
    --per_device_train_batch_size 6 
    --gradient_accumulation_steps 1 
    --max_steps 52000 
    --save_steps 1000 
    --save_total_limit 2 
    --learning_rate 1e-4 
    --fp16 
    --remove_unused_columns false 
    --logging_steps 50 
    --output_dir output
    --chatglm_path model_path/chat_glm

raisonnement

Inférieur de référence.Ipynb

Comparaison avant et après Finetune

Après avoir utilisé l'ensemble de données Alpaca pour mieux fonctionner sur l'ensemble de données Alpaca:

• Answer: C'est la sortie du modèle
• #### Answer: c'est la réponse originale

S2. Modèle de récompense

S3. PPO

Lora

Lora	Ensemble de données
myMusise / chatGlm-6b-alpaca-lora	Alpaga
myMusise / chatGlm-6b-alpaca-zh-en-lora	Alpaca-zh-en
(en route)	Alpaca-zh

Utilisation de Lora pré-formée

Reportez-vous à des exemples / inférieur_pretrain.ipynb

FAIRE:

• BS> 1 support
• Utilisation de données chinoises
• Rejoignez RLHF