AsymmetryLoRA

Asimetri pada adaptor ranker rendah dari model yayasan

? Pracetak arxiv

Repo ini meng-host kode untuk kertas "Asimetri dalam adaptor ranker rendah model yayasan". Kami menemukan dan menganalisis asimetri matriks adaptor LORA B dan A ,

? Tautan cepat

• Asimetri pada adaptor ranker rendah dari model yayasan
  • ? Tautan cepat
  • Pasang persyaratan
  • Penggunaan
  • Eksperimen
    • Lem Benchmark
  • Bug atau pertanyaan?
  • Kutipan

Pasang persyaratan

Langkah 1 : Silakan ikuti langkah -langkah instalasi. Pertama, pastikan Anda menginstal Pytorch.

 pip3 install torch==1.13.0 torchvision

Langkah 2 : Kemudian pasang sisa paket yang diperlukan:

 cd AsymmetryLoRA
pip install -r requirement.txt

Penggunaan

Modul Lorasym kami mengikuti struktur modul PEFT. Secara khusus, kami menyediakan antarmuka yang fleksibel untuk memperhitungkan pengaturan inisialisasi matriks A dan B :

• V dan U : Matriks tunggal kanan dan kiri dari matriks berat asli.
• Acak : Diinisialisasi dengan matriks ortonormal acak.
• HE : Menggunakan torch.nn.init.kaiming_uniform_ untuk distribusi seragam acak, mengoptimalkan aktivasi lapisan jaringan saraf.

Anda dapat menyesuaikan matriks A dan B dengan opsi ini.

Matriks	Opsi	Contoh	Penjelasan
A	V , rand , he , zero	A_rand	A diintalized sebagai matriks ortonormal acak dan dibekukan selama pelatihan.
B	U , rand , he , zero	hB_zero	B diinisialisasi sebagai nol dan akan diperbarui.

Penjelasan: A_rand_hB_zero berarti A diinisialisasi sebagai ortonormal acak dan tidak berubah, sedangkan B dimulai pada nol dan sedang diperbarui.

Kami menyediakan pembungkus yang mengkompilasi model lain dari model transformator HuggingFace. Berikut ini adalah contoh penggunaan:

 from transformers import AutoModelForSequenceClassification
from LoRASYM_peft . local_peft_model_all import PeftModelForCausalLM_local ,
from LoRASYM_peft . local_lorasym_all import LoRASYMConfig

model = AutoModelForSequenceClassification . from_pretrained (
        model_args . model_name_or_path ,
    )

update_rule_dict = para_dict = { "update_A" : False , "update_B" : True , 
"A_init" : "rand" , "B_init" : "zero" }

lorasym_config = LoRASYMConfig (
                r = 16 ,   
                lora_alpha = 32 ,
                lora_dropout = 0.05 ,
                bias = "none" ,
                modules_to_save = [ "classifier" ],
                update_rule = update_rule_dict ,
                task_type = "SEQ_CLS" ,
                )

lora_model = PeftModelForCausalLM_local ( model , lorasym_config )

Lem Benchmark

Gunakan perintah berikut untuk menyempurnakan model Roberta-Large untuk tugas-tugas di tolok ukur lem.

 cd GPT_experiments

python -m run_glue_origin_ft --model_name_or_path roberta-large 
    --task_name rte 
    --ft_method LoRASYM 
    --bf16 True 
    --tf32 True 
    --do_train 
    --do_eval 
    --learning_rate 4e-4 
    --num_train_epochs 20 
    --input_seed 7 
    --lora_svd_method A_rand_hB_zero 
    --lora_rank 8 
    --lora_alpha 16 
    --overwrite_output_dir 

Bug atau pertanyaan?

Jika Anda memiliki pertanyaan yang terkait dengan kode atau kertas, jangan ragu untuk mengirim email ke Jiacheng Zhu ([email protected]). Silakan membuka masalah jika Anda mengalami masalah saat menggunakan kode.

Kutipan

Harap kutip makalah kami jika Anda menemukan repo bermanfaat dalam pekerjaan Anda:

 @article { zhu2024asymmetry ,
      title = { Asymmetry in Low-Rank Adapters of Foundation Models } , 
      author = { Jiacheng Zhu and Kristjan Greenewald and Kimia Nadjahi and Haitz Sáez de Ocáriz Borde and Rickard Brüel Gabrielsson and Leshem Choshen and Marzyeh Ghassemi and Mikhail Yurochkin and Justin Solomon } ,
      year = { 2024 } ,
}