mezo_svrg

MEZO-SVRG: Varianzreduzierte Methoden nullter Ordnung für die Feinabstimmung LLMs

Dieses Repository implementiert den memarageeffizienten stochastischen Varianzalgorithmus (MEZO-SVRG) für die stochastische Varianz-reduzierte Gradient (vorab geschlossenem Umarmungsgesicht LMS). Als Baselines implementieren wir auch speichereffizientes ZO-Optimierer (MEZO) und SGD (FO-SGD) erster Ordnung. Das Repository ist in Pytorch geschrieben und nutzt das Pytorch -Blitzgerüst.

Installation

Um die entsprechende Python -Umgebung zu installieren, verwenden Sie den Befehl

  conda create --name zo_opt python=3.9
  conda activate zo_opt
  python -m pip install -r requirements.txt

Dateiübersicht

Dieses Repository implementiert den Mezo-SVRG-Algorithmus und ermöglicht die Feinabstimmung auf einem Bereich von Sprachmodellen mithilfe des Datensatzes für Kleber-Benchmark. Um Experimente auszuführen, führen Sie das Bash -Skript 'fellune_llm.sh' aus.

Das Skript unterstützt die folgenden Modelle:

1. "Distilbert-Base-Cased"
2. "Roberta-Large"
3. 'gpt2-xl'
4. 'Facebook/opt-2.7b'
5. 'Facebook/opt-6.7b'

Das Skript unterstützt die folgenden Kleberaufgaben:

1. Mnli
2. Qnli
3. SST-2
4. Cola

Geben Sie den Feinabstimmungsalgorithmus an, indem Sie einen der folgenden {'fo', 'zo', 'zosvrg'} übergeben. Die genauen Hyperparametereinstellungen, mit denen die Tabellen/Zahlen im Papier erzeugt werden, sind im Anhang bereitgestellt.

Zitat

Bitte erwägen Sie, unser Papier zu zitieren, wenn Sie unseren Code verwenden:

 @misc{gautam2024variancereduced,
      title={Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models}, 
      author={Tanmay Gautam and Youngsuk Park and Hao Zhou and Parameswaran Raman and Wooseok Ha},
      year={2024},
      eprint={2404.08080},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

Sicherheit

Weitere Informationen finden Sie unter Beitrag.

Lizenz

Dieses Projekt ist unter der Lizenz Apache-2.0 lizenziert.