LLaMA MOSS RLHF LoRA下載LLaMA MOSS RLHF LoRA源代碼下載

LLaMA MOSS RLHF LoRA

Ai源碼

1.0.0

下載

LLaMA-MOSS-RLHF-LoRA

本代碼的RLHF代碼不需要Megatron或者deepspeed框架，只需要傳統的煉丹torch和顯卡就好了，RLHF的Critic用的目標GPT的縮小版本，而Reward咱們直接使用一個和目標輸出比較的相似度模型即可。這樣只需要學習核心的PPO算法即可，其他的都是已經了解的模型和結構。非常有利於NLPer進軍RLHF，似乎看起來只需要RLHF也能finetune模型。

代碼裡面可選LLaMA或者MOSS，優化方式LoRA是可選的喔。

功能：

RLHF數據格式的定義和使用√
只用RLHF就對模型進行了微調√
讓模型認主√
- 修改自我認知鋼印
  - 主人的姓名
  - Robot的暱稱
batch 化生成多個不同的prompt，再同時RLHF×

安裝環境

安裝環境參照提取的requirement.txt，主要是torch, transformers

跑moss需要accelerate庫
跑lora需要peft
- 其中peft由於更新較快代碼變化較多。這裡需要指定peft為0.2.0版本

使用方法

0 選擇自己需要的模型（在rlhf_train_gpt.py中設置model_name_or_path，和是否需要lora），和預處理

moss
- 無預處理
llama
- 需要執行一下llama基模型和再訓練的lora的參數合併
- python merge_llama_with_chinese_lora_to_hf.py
- 可以在裡面設置不同llama參數量和lora
- 生成的hf模型在saved中

1 修改自己想要的主人名字和暱稱，執行下面的代碼。生成目標數據，也可以用默認的。

 python data / generate_data . py

2 開始基於RLHF（LoRA）訓練叭

 python rlhf_train_gpt . py

資源消耗

moss
- 13b參數量
- 需要四張3090，其中moss模型需要大約加載26G訓練46G顯存（3張），critic和reward還需要一張，可以試試一張A6000可能也能跑起來
- 總計大約50G的顯存
llama
- 7b參數量
- 需要兩張3090，一張用於llama的加載和訓練，一張用於放置critic模型

效果展示

訓練大約6個epoch，或者等到ratio幾乎都是1的時候，代表模型生成的概率已經沒有什麼變化了，就可以體驗一下了

咩咩是你的什麼？
- 咩咩是我的主人給我起的暱稱。
咩咩是誰給你起的？
- 咩咩是我的暱稱。
- 咩咩是主人給我起的。
誰是你的主人捏？
- 張三是我的主人。
- 我的主人是張三
泛化能力保持的很好嘛
- who is your master
  - 我的主人是張三。
- what is your nickname
  - My nickname is咩咩.
- what is your relationship with 張三
  - 張三是我的主人。
- what is your relationship with 咩咩
  - 咩咩是我的主人給我起的暱稱。