ChatGLM Tuning

Чатглм-настройка

Доступное решение для реализации CHATGPT, Finetune, основанное на чате Tsinghua от Chatglm-6b + Lora.

Набор данных: альпака

Студенты с Colab могут попробовать это прямо на Colab:

Официальный код Ptuning

Демо

• Версия Wenxin Yiyan с открытым исходным кодом

S1 Finetune

Подготовить

• ГРАФИКА: Графическая память> = 16G (предпочтительно 24 г или выше)
• среда:
• • Python> = 3,8
• • Cuda> = 11,6, Cupti, Cudnn, Tensorrt и другие среды глубокого обучения
• • PIP3 Установка -R Требования. Текст Установочный пакет bitsAndbytes в требованиях. Текст рекомендуется для установки версии 0.41.2.post2. Предыдущие версии могут вызвать ошибку: bitsandbytes/libbitsandbytes_cpu.so: не определенный символ: cget_col_row_stats

Предварительная обработка данных

Преобразовать набор данных Alpaca в JSONL

python cover_alpaca2jsonl.py 
    --data_path data/alpaca_data.json 
    --save_path data/alpaca_data.jsonl 
    

токенизация

python tokenize_dataset_rows.py 
    --jsonl_path data/alpaca_data.jsonl 
    --save_path data/alpaca 
    --max_seq_length 200  
    --skip_overlength  False
    --chatglm_path model_path/chatglm
    --version v1                 
    

• --jsonl_path Тонко настроенный путь данных, формат jsonl, кодируйте поля ['' context '] и [Target'] каждой строки
• --save_path PATH
• --max_seq_length
• --chatglm_path , чтобы импортировать путь модели (вы можете выбрать разные пути чатглм или чатглм2)
• --version модели версии (V1 относится к Chatglm, V2 относится к ChatGlm2)

тренироваться

python finetune.py 
    --dataset_path data/alpaca 
    --lora_rank 8 
    --per_device_train_batch_size 6 
    --gradient_accumulation_steps 1 
    --max_steps 52000 
    --save_steps 1000 
    --save_total_limit 2 
    --learning_rate 1e-4 
    --fp16 
    --remove_unused_columns false 
    --logging_steps 50 
    --output_dir output
    --chatglm_path model_path/chat_glm

рассуждение

Ссылка SOPER.IPYNB

Сравнение до и после Finetune

После использования набора данных Alpaca для лучшего работа в наборе данных Alpaca:

• Answer: это выход модели
• #### Answer: это исходный ответ

С2 Награда модель

S3. PPO

Лора

Лора	Набор данных
Mymusise/Chatglm-6b-Alpaca-Lora	Альпака
Mymusise/Chatglm-6b-Alpaca-Zh-en-Lora	Альпака-Zh-en
(в пути)	Альпака-ZH

Используя предварительно обученную Лору

См. Примеры/infer_pretrain.ipynb

Тодо:

• BS> 1 поддержка
• Используя китайские данные
• Присоединяйтесь к RLHF