LLM RLHF Tuning

LLM-RLHF-Tuning

本項目從零實現了RLHF三階段訓練，並在文檔中詳細寫了實現細節，歡迎大家交流討論WeChat

主要內容：

• 支持指令微調Alpaca模型
• 支持訓練Reward模型
• 支持PPO算法訓練RL模型
  • 支持基於兩個基模型，兩個lora的適配器，同時加載RM、SFT、Actor、Critic四個模型，支持accelerate分佈式訓練（PPO算法實現細節）
  • 支持基於一個基模型，兩個lora適配器，同時加載RM、SFT、Actor、Critic四個模型，支持accelerate、deepspeed訓練
  • 支持基於一個基模型，一個lora適配器，Actor、Critic共享base model，同時實現RM、SFT、Actor、Critic四個模型功能，支持accelerate、deepspeed訓練
• 支持DPO算法訓練模型

更新

• [23/8/23] 支持LLaMA2模型訓練；支持DPO訓練；支持基於一個基模型、選擇一個或兩個lora適配器訓練PPO、支持accelerate、deepspeed訓練
• [23/8/13] 支持LLaMA模型訓練；支持基於兩個基模型、兩個lora的適配器訓練PPO；支持accelerate分佈式訓練

功能

與開源的RLHF訓練框架的功能進行對比

框架	SFT Train	RM Train	PPO Train	DPO Train
Our	✅	✅	✅	✅
Deepspeed-chat	✅	✅	✅
trl	✅	✅	✅	✅
MOSS-RLHF			✅

PPO Train

框架	Accelerate	Deepspeed	Multi LORA	最低模型參數量(7B為例)
Our	✅	✅	✅	single model size ～ 7B
Deepspeed-chat		✅		sft+rm+actor+critic ～ 28B
trl	✅			single model size（not use ref model）～ 7B
MOSS-RLHF	actor model、critic model	sft model、rm model		sft+rm+actor+critic ～ 28B

使用指引

環境搭建

 accelerate==0.21.0
datasets==2.13.1
scikit-learn==1.3.0
sentencepiece==0.1.99
tqdm==4.65.0
transformers==4.31.0
wandb==0.15.8
peft==0.4.0
torch==2.0.1
trl==0.5.0
deepspeed==0.10.0

支持模型

• LLaMA
• LLaMA2

支持訓練方式

• LoRA

訓練細節

指令微調模型

• 訓練指南

訓練獎勵模型

• 訓練指南

PPO訓練

• 訓練指南

  • 基於兩個基模型

    • PPO算法實現細節

  • 基於一個基模型

DPO訓練

• 訓練指南

TODO

• 支持LLaMA2模型
• 支持deepspeed訓練
• 支持DPO訓練
• PPO提升訓練穩定性，實現ppo-max
• 支持DDPO訓練
• 支持RRHF
• 支持RAFT
• 支持拒絕採樣RFT
• 支持BLOOM模型
• 支持Baichuan模型
• 支持QLoRA訓練

歡迎加群討論WeChat