mezo_svrg 다운로드 mezo_svrg 소스 코드 다운로드

mezo_svrg

AI 소스 코드

1.0.0

다운로드

MEZO-SVRG : 미세 조정 LLM을위한 분산 감소 제로 주문 방법

이 저장소는 미세 조정 된 미리 훈련 된 Hugging Face LMS를위한 메모리 효율적인 Zeroth-Order Intochastic 편차-감소 된 그라디언트 (MEZO-SVRG) 알고리즘을 구현합니다. 기준선으로서 우리는 메모리 효율적인 ZO Optimizer (MEZO) 및 1 차 SGD (FO-SGD)도 구현합니다. 이 저장소는 Pytorch로 작성되었으며 Pytorch Lightning 프레임 워크를 활용합니다.

설치

관련 파이썬 환경을 설치하려면 명령을 사용하십시오

  conda create --name zo_opt python=3.9
  conda activate zo_opt
  python -m pip install -r requirements.txt

파일 개요

이 저장소는 Mezo-SVRG 알고리즘을 구현하고 접착제 벤치 마크 데이터 세트를 사용하여 언어 모델의 범위를 미세 조정할 수 있습니다. 실험을 실행하려면 'Finetune_llm.sh'배쉬 스크립트를 실행하십시오.

스크립트는 다음 모델을 지원합니다.

'Distilbert-Base-Cased'
'Roberta-Large'
'GPT2-XL'
'Facebook/Opt-2.7B'
'Facebook/Opt-6.7B'

스크립트는 다음 접착제 작업을 지원합니다.

mnli
qnli
SST-2
콜라

다음 { 'fo', 'Zo', 'Zosvrg'} 중 하나를 전달하여 미세 조정 알고리즘을 표시하십시오. 논문의 표/그림을 생성하는 데 사용되는 정확한 과다 투파 미터 설정은 부록에 제공됩니다.

소환

우리의 코드를 사용하는 경우 우리의 논문을 인용하는 것을 고려하십시오.

 @misc{gautam2024variancereduced,
      title={Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models}, 
      author={Tanmay Gautam and Youngsuk Park and Hao Zhou and Parameswaran Raman and Wooseok Ha},
      year={2024},
      eprint={2404.08080},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}