mezo_svrg

MEZO-SVRG：用於微調LLMS的差異零級方法

該存儲庫實現了用於微調預先訓練的擁抱面LMS的記憶效率降低梯度（Mezo-SVRG）算法的記憶效率零階隨機方差。作為基準，我們還實施了內存效率的ZO優化器（MEZO）和一階SGD（FO-SGD）。該存儲庫用Pytorch編寫，並利用Pytorch Lightning框架。

安裝

要安裝相關的Python環境，請使用該命令

  conda create --name zo_opt python=3.9
  conda activate zo_opt
  python -m pip install -r requirements.txt

文件概述

該存儲庫實現了MEZO-SVRG算法，並使用膠水基準數據集對語言模型進行微調。要運行實驗，請執行“ Finetune_llm.sh” bash腳本。

該腳本支持以下模型：

1. “大雜es基礎”
2. “羅伯塔巨人”
3. 'gpt2-xl'
4. 'Facebook/opt-2.7b'
5. 'Facebook/opt-6.7b'

該腳本支持以下膠水任務：

1. mnli
2. Qnli
3. SST-2
4. 可樂

通過傳遞以下{'fo'，'zo'，'zosvrg'}之一來指示微調算法。附錄中提供了用於生成紙張中表/數字的精確超參數設置。

引用

如果您使用我們的代碼，請考慮引用我們的論文：

 @misc{gautam2024variancereduced,
      title={Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models}, 
      author={Tanmay Gautam and Youngsuk Park and Hao Zhou and Parameswaran Raman and Wooseok Ha},
      year={2024},
      eprint={2404.08080},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

安全

有關更多信息，請參見貢獻。

執照

該項目已根據APACHE-2.0許可獲得許可。