AsymmetryLoRA

基础模型低级适配器中的不对称性

？ ARXIV预印本

此存储库托管了“基础模型低级适配器中的不对称性”的代码。我们发现并分析了Lora适配器矩阵B和A的不对称性

？快速链接

• 基础模型低级适配器中的不对称性
  • ？快速链接
  • 安装要求
  • 用法
  • 实验
    • 胶水基准
  • 错误或问题？
  • 引用

安装要求

步骤1 ：请按照安装步骤进行操作。首先，请确保安装了Pytorch。

 pip3 install torch==1.13.0 torchvision

步骤2 ：然后安装其余所需的软件包：

 cd AsymmetryLoRA
pip install -r requirement.txt

用法

我们的Lorasym模块遵循PEFT模块的结构。具体而言，我们提供一个灵活的接口来说明矩阵A和B的初始化设置：

• V和U ：原始重量矩阵的左右单数矩阵。
• 随机：用随机正交矩阵初始化。
• HE ：使用torch.nn.init.kaiming_uniform_进行随机均匀分布，优化神经网络层激活。

您可以使用这些选项自定义矩阵A和B。

矩阵	选项	例子	解释
一个	V ， rand ， he ， zero	A_rand	a被视为随机正交基质，并在训练过程中冻结。
b	U ， rand ， he ， zero	hB_zero	B初始化为零，并将更新。

解释： A_rand_hB_zero表示A初始化为随机正顺序且不变，而B则以零开始并正在更新。

我们提供了一个包装器，该包装器与HuggingFace Transformer模型中的其他模型一起编译。以下是用法的一个示例：

 from transformers import AutoModelForSequenceClassification
from LoRASYM_peft . local_peft_model_all import PeftModelForCausalLM_local ,
from LoRASYM_peft . local_lorasym_all import LoRASYMConfig

model = AutoModelForSequenceClassification . from_pretrained (
        model_args . model_name_or_path ,
    )

update_rule_dict = para_dict = { "update_A" : False , "update_B" : True , 
"A_init" : "rand" , "B_init" : "zero" }

lorasym_config = LoRASYMConfig (
                r = 16 ,   
                lora_alpha = 32 ,
                lora_dropout = 0.05 ,
                bias = "none" ,
                modules_to_save = [ "classifier" ],
                update_rule = update_rule_dict ,
                task_type = "SEQ_CLS" ,
                )

lora_model = PeftModelForCausalLM_local ( model , lorasym_config )

胶水基准

使用以下命令对胶水基准中的任务进行微调Roberta-Large模型。

 cd GPT_experiments

python -m run_glue_origin_ft --model_name_or_path roberta-large 
    --task_name rte 
    --ft_method LoRASYM 
    --bf16 True 
    --tf32 True 
    --do_train 
    --do_eval 
    --learning_rate 4e-4 
    --num_train_epochs 20 
    --input_seed 7 
    --lora_svd_method A_rand_hB_zero 
    --lora_rank 8 
    --lora_alpha 16 
    --overwrite_output_dir 

错误或问题？

如果您有与代码或论文有关的任何疑问，请随时通过电子邮件发送Jiacheng Zhu（[email protected]）。如果您在使用代码时遇到任何问题，请随时打开问题。

引用

如果您发现回购对您的工作有帮助，请引用我们的论文：

 @article { zhu2024asymmetry ,
      title = { Asymmetry in Low-Rank Adapters of Foundation Models } , 
      author = { Jiacheng Zhu and Kristjan Greenewald and Kimia Nadjahi and Haitz Sáez de Ocáriz Borde and Rickard Brüel Gabrielsson and Leshem Choshen and Marzyeh Ghassemi and Mikhail Yurochkin and Justin Solomon } ,
      year = { 2024 } ,
}