LLM RLHF Tuning

llm-rlhf 튜닝

이 프로젝트는 RLHF 3 단계 교육을 처음부터 구현하고 구현 세부 정보를 문서에 자세히 작성합니다. 모든 사람들은 커뮤니케이션하고 WeChat에 대해 토론 할 수 있습니다

주요 내용 :

• 명령 미세 조정 알파카 모델을 지원합니다
• 보상 모델의 교육 지원
• RL 모델을 훈련시키기위한 PPO 알고리즘을 지원하십시오
  • 2 개의 기본 모델과 2 개의 LORA를 기반으로 어댑터를 지원하고 RM, SFT, Actor 및 Critic의 4 가지 모델을 동시에로드하고 Accelerate Distributed Training (PPO 알고리즘 구현 세부 사항)을 지원합니다.
  • 하나의 기본 모델을 기반으로 2 개의 LORA 어댑터를 지원하고 RM, SFT, 배우 및 비평가의 4 가지 모델을 동시에로드하여 가속 및 심층 교육을 지원합니다.
  • 기본 모델과 LORA 어댑터, 배우 및 비평가 공유 기본 모델을 기반으로 기본 모델을 지원하고 RM, SFT, 배우 및 비평가의 4 가지 모델 기능을 구현하며 가속 및 심층 교육을 지원합니다.
• DPO 알고리즘 교육 모델을 지원합니다

고쳐 쓰다

• [23/8/23] LLAMA2 모델 교육 지원; DPO 교육 지원; 하나의 기본 모델을 기반으로 PPO 교육 지원, 하나 또는 두 개의 LORA 어댑터를 선택하고, 가속도, 딥 스피드 교육 지원
• [23/8/13] 지원 라마 모델 훈련; 2 개의 기본 모델과 2 개의 LORA 어댑터를 기반으로 PPO 교육을 지원합니다. 분산 교육 가속화를 지원합니다

기능

오픈 소스 RLHF 교육 프레임 워크의 기능과 비교

액자	SFT 열차	RM 기차	PPO 열차	DPO 열차
우리의	✅	✅	✅	✅
깊은 속도 chat	✅	✅	✅
Trl	✅	✅	✅	✅
이끼-rlhf			✅

PPO 열차

액자	가속	딥 스피드	멀티 로라	최소 모델 매개 변수 수량 (예 : 7B)
우리의	✅	✅	✅	단일 모델 크기 ~ 7b
깊은 속도 chat		✅		SFT+RM+배우+비평가 ~ 28B
Trl	✅			단일 모델 크기 (Ref Model을 사용하지 않음) ~ 7b
이끼-rlhf	액터 모델, 중요한 모델	SFT 모델, RM 모델		SFT+RM+배우+비평가 ~ 28B

사용 지침

환경 구성

 accelerate==0.21.0
datasets==2.13.1
scikit-learn==1.3.0
sentencepiece==0.1.99
tqdm==4.65.0
transformers==4.31.0
wandb==0.15.8
peft==0.4.0
torch==2.0.1
trl==0.5.0
deepspeed==0.10.0

지원 모델

• 야마
• llama2

교육 방법을 지원합니다

• 로라

교육 세부 사항

지시 미세 조정 모델

• 훈련 안내서

교육 보상 모델

• 훈련 안내서

PPO 교육

• 훈련 안내서

  • 두 가지 기본 모델을 기반으로합니다

    • PPO 알고리즘 구현 세부 사항

  • 기본 모델을 기반으로합니다

DPO 교육

• 훈련 안내서

TODO

• LLAMA2 모델을 지원합니다
• 심해 훈련을 지원합니다
• DPO 교육 지원
• PPO는 교육 안정성을 향상시키고 PPO-MAX를 실현합니다
• DDPO 교육 지원
• RRHF 지원
• 래프트 지원
• RFT 샘플링 거부 지원
• 블룸 모델을 지원합니다
• Baichuan 모델을 지원합니다
• Qlora 교육을 지원합니다

WeChat에 대해 논의하기 위해 그룹에 가입하는 데 오신 것을 환영합니다