mezo_svrg

Mezo-SVRG: metode nol-orde yang dikurangi varians untuk fine-tuning llms

Repositori ini mengimplementasikan algoritma gradien varians-reduced-order-orde-orde-orde-order (MEZO-SVRG) untuk menyempurnakan LM FACE HUKGGING FACE. Sebagai baselines, kami juga menerapkan ZO Optimizer (MEZO) dan SGD orde pertama (FO-SGD). Repositori ditulis dalam Pytorch dan memanfaatkan kerangka kerja Pytorch Lightning.

Instalasi

Untuk menginstal lingkungan Python yang relevan, gunakan perintah

  conda create --name zo_opt python=3.9
  conda activate zo_opt
  python -m pip install -r requirements.txt

Tinjauan File

Repositori ini mengimplementasikan algoritma mezo-SVRG dan memungkinkan penyesuaian pada rentang model bahasa menggunakan dataset patokan lem. Untuk menjalankan eksperimen, jalankan skrip bash 'finetune_llm.sh'.

Skrip mendukung model berikut:

1. 'Distilbert-Base-Cased'
2. 'Roberta-Large'
3. 'gpt2-xl'
4. 'Facebook/opt-2.7b'
5. 'Facebook/opt-6.7b'

Skrip mendukung tugas lem berikut:

1. Mnli
2. Qnli
3. SST-2
4. Cola

Tunjukkan algoritma penyempurnaan dengan melewati salah satu dari {'fo', 'zo', 'zosvrg'}. Pengaturan hyperparameter yang tepat yang digunakan untuk menghasilkan tabel/angka dalam kertas disediakan dalam lampiran.

Kutipan

Harap pertimbangkan mengutip makalah kami jika Anda menggunakan kode kami:

 @misc{gautam2024variancereduced,
      title={Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models}, 
      author={Tanmay Gautam and Youngsuk Park and Hao Zhou and Parameswaran Raman and Wooseok Ha},
      year={2024},
      eprint={2404.08080},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

Keamanan

Lihat berkontribusi untuk informasi lebih lanjut.

Lisensi

Proyek ini dilisensikan di bawah lisensi APACHE-2.0.