ChatGLM Tuning

Catglm-ajuste

Una solución de implementación de CHATGPT asequible, Finetune basada en el chatglm-6b + lora de Tsinghua.

Conjunto de datos: alpaca

Los estudiantes con Colab pueden probarlo directamente en Colab:

Código oficial de Ptuning

Manifestación

• Versión de código abierto de Wenxin Yiyan

S1 Finetune

Preparar

• Tarjeta gráfica: memoria gráfica> = 16g (preferiblemente 24g o superior)
• ambiente:
• • Python> = 3.8
• • CUDA> = 11.6, Cupti, Cudnn, Tensorrt y otros entornos de aprendizaje profundo
• • PIP3 Instalar -r requisitos.txt El paquete de instalación bitsandbytes en requisitos.txt se recomienda instalar la versión 0.41.2.post2. Las versiones anteriores pueden solicitar un error: bitsandbytes/libbitsandbytes_cpu.so: símbolo indefinido: cget_col_row_stats

Preprocesamiento de datos

Convertir el conjunto de datos de Alpaca a JSONL

python cover_alpaca2jsonl.py 
    --data_path data/alpaca_data.json 
    --save_path data/alpaca_data.jsonl 
    

tokenización

python tokenize_dataset_rows.py 
    --jsonl_path data/alpaca_data.jsonl 
    --save_path data/alpaca 
    --max_seq_length 200  
    --skip_overlength  False
    --chatglm_path model_path/chatglm
    --version v1                 
    

• --jsonl_path ruta de datos ajustada, formato jsonl, codifica los campos ['context'] y ['objetivo'] de cada fila
• --save_path ruta de salida
• --max_seq_length muestra longitud máxima
• --chatglm_path para importar la ruta del modelo (puede elegir diferentes rutas de chatglm o chatglm2)
• --version del modelo de Version (V1 se refiere a ChatGlm, V2 se refiere a ChatGlm2)

tren

python finetune.py 
    --dataset_path data/alpaca 
    --lora_rank 8 
    --per_device_train_batch_size 6 
    --gradient_accumulation_steps 1 
    --max_steps 52000 
    --save_steps 1000 
    --save_total_limit 2 
    --learning_rate 1e-4 
    --fp16 
    --remove_unused_columns false 
    --logging_steps 50 
    --output_dir output
    --chatglm_path model_path/chat_glm

razonamiento

Referencia infer.ipynb

Comparación antes y después de Finetune

Después de usar el conjunto de datos Alpaca para funcionar mejor en el conjunto de datos Alpaca:

• Answer: es la salida del modelo
• #### Answer: es la respuesta original

S2. Modelo de recompensa

S3. PPO

Lora

Lora	Conjunto de datos
mymusise/chatglm-6b-alpaca-lora	Alpaca
mymusise/chatglm-6b-alpaca-zh-en-lora	Alpaca-zh-en
(en el camino)	Alpaca-zh

Uso de Lora pre-entrenado

Consulte Ejemplos/infer_prain.ipynb

HACER:

• BS> 1 Soporte
• Uso de datos chinos
• Únete a RLHF