ดาวน์โหลด mezo_svrg - ดาวน์โหลดซอร์สโค้ด mezo

mezo_svrg

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

Mezo-SVRG: วิธีการสั่งซื้อแบบไม่มีการลดความแปรปรวนสำหรับการปรับแต่ง LLMS

ที่เก็บนี้ใช้อัลกอริทึมการไล่ระดับสีที่ลดความแปรปรวนแบบสุ่มของหน่วยความจำ (MEZO-SVRG) สำหรับการปรับความแปรปรวนของการปรับแต่งการกอดใบหน้า LMS ที่ผ่านการฝึกอบรมมาแล้ว ในฐานะที่เป็น baselines เรายังใช้ Zo Optimizer (MEZO) ที่ประหยัดหน่วยความจำและ SGD ลำดับแรก (FO-SGD) ที่เก็บถูกเขียนใน Pytorch และใช้ประโยชน์จากกรอบ Lightning Pytorch

การติดตั้ง

ในการติดตั้งสภาพแวดล้อม Python ที่เกี่ยวข้องให้ใช้คำสั่ง

  conda create --name zo_opt python=3.9
  conda activate zo_opt
  python -m pip install -r requirements.txt

ภาพรวมไฟล์

ที่เก็บนี้ใช้อัลกอริทึม MEZO-SVRG และช่วยให้การปรับแต่งช่วงเวลาในแบบจำลองภาษาโดยใช้ชุดข้อมูลเกณฑ์มาตรฐานกาว ในการเรียกใช้การทดลองให้เรียกใช้สคริปต์ 'Finetune_llm.sh'

สคริปต์รองรับรุ่นต่อไปนี้:

'distilbert-base-cas
'Roberta-large'
'gpt2-xl'
'Facebook/opt-2.7b'
'Facebook/opt-6.7b'

สคริปต์รองรับงานกาวต่อไปนี้:

mnli
qnli
SST-2
โคล่า

ระบุอัลกอริทึมการปรับแต่งโดยผ่านหนึ่งใน {'fo' ต่อไปนี้ 'zo', 'zosvrg'} การตั้งค่า hyperparameter ที่แน่นอนที่ใช้ในการสร้างตาราง/ตัวเลขในกระดาษมีให้ในภาคผนวก

การอ้างอิง

โปรดพิจารณาอ้างถึงบทความของเราหากคุณใช้รหัสของเรา:

 @misc{gautam2024variancereduced,
      title={Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models}, 
      author={Tanmay Gautam and Youngsuk Park and Hao Zhou and Parameswaran Raman and Wooseok Ha},
      year={2024},
      eprint={2404.08080},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}