AsymmetryLoRA

基礎モデルの低ランクアダプターの非対称性

？ arxiv preprint

このレポは、「基礎モデルの低ランクアダプターの非対称性」のコードをホストしています。ロラアダプターマトリックスBとAの非対称性を発見して分析します。

？クイックリンク

• 基礎モデルの低ランクアダプターの非対称性
  • ？クイックリンク
  • 要件をインストールします
  • 使用法
  • 実験
    • 接着剤ベンチマーク
  • バグや質問？
  • 引用

要件をインストールします

ステップ1 ：インストール手順に従ってください。まず、Pytorchがインストールされていることを確認してください。

 pip3 install torch==1.13.0 torchvision

ステップ2 ：次に、必要なパッケージの残りをインストールします。

 cd AsymmetryLoRA
pip install -r requirement.txt

使用法

Lorasymモジュールは、PEFTモジュールの構造に従います。具体的には、マトリックスaとbの初期化設定を説明するための柔軟なインターフェイスを提供します。

• VおよびU ：元の重量マトリックスの右と左の単数マトリックス。
• ランダム：ランダムオルソーマルマトリックスで初期化します。
• HE ：ランダムな均一な分布にtorch.nn.init.kaiming_uniform_を使用して、ニューラルネットワーク層の活性化を最適化します。

これらのオプションでマトリックスAとBをカスタマイズできます。

マトリックス	オプション	例	説明
a	V 、 rand 、 he 、 zero	A_rand	Aはランダムオルソーマルマトリックスとして直接化され、トレーニング中に凍結されます。
b	U 、 rand 、 he 、 zero	hB_zero	Bはゼロとして初期化され、更新されます。

説明： A_rand_hB_zeroは、 Aがランダムな直交および変更されていないものとして初期化されることを意味しますが、 Bはゼロから始まり、更新されています。

Huggingfaceのトランスモデルの他のモデルとコンパイルするラッパーを提供します。以下は使用の例です。

 from transformers import AutoModelForSequenceClassification
from LoRASYM_peft . local_peft_model_all import PeftModelForCausalLM_local ,
from LoRASYM_peft . local_lorasym_all import LoRASYMConfig

model = AutoModelForSequenceClassification . from_pretrained (
        model_args . model_name_or_path ,
    )

update_rule_dict = para_dict = { "update_A" : False , "update_B" : True , 
"A_init" : "rand" , "B_init" : "zero" }

lorasym_config = LoRASYMConfig (
                r = 16 ,   
                lora_alpha = 32 ,
                lora_dropout = 0.05 ,
                bias = "none" ,
                modules_to_save = [ "classifier" ],
                update_rule = update_rule_dict ,
                task_type = "SEQ_CLS" ,
                )

lora_model = PeftModelForCausalLM_local ( model , lorasym_config )

接着剤ベンチマーク

次のコマンドを使用して、接着剤ベンチマーク内のタスクについてはRoberta-Largeモデルを微調整します。

 cd GPT_experiments

python -m run_glue_origin_ft --model_name_or_path roberta-large 
    --task_name rte 
    --ft_method LoRASYM 
    --bf16 True 
    --tf32 True 
    --do_train 
    --do_eval 
    --learning_rate 4e-4 
    --num_train_epochs 20 
    --input_seed 7 
    --lora_svd_method A_rand_hB_zero 
    --lora_rank 8 
    --lora_alpha 16 
    --overwrite_output_dir 

バグや質問？

コードまたは論文に関連する質問がある場合は、jiacheng Zhu（[email protected]）にメールしてください。コードを使用する際に問題が発生した場合は、問題を開いてください。

引用

仕事で役立つレポを見つけた場合は、私たちの論文を引用してください。

 @article { zhu2024asymmetry ,
      title = { Asymmetry in Low-Rank Adapters of Foundation Models } , 
      author = { Jiacheng Zhu and Kristjan Greenewald and Kimia Nadjahi and Haitz Sáez de Ocáriz Borde and Rickard Brüel Gabrielsson and Leshem Choshen and Marzyeh Ghassemi and Mikhail Yurochkin and Justin Solomon } ,
      year = { 2024 } ,
}