AsymmetryLoRA

Assimetria em adaptadores de baixo rank de modelos de fundação

? Arxiv pré -impressão

Este repo hospeda o código para o artigo "assimetria em adaptadores de baixo rank dos modelos de fundação". Descobrimos e analisamos a assimetria das matrizes do adaptador Lora B e A ,

? Links rápidos

• Assimetria em adaptadores de baixo rank de modelos de fundação
  • ? Links rápidos
  • Instale requisitos
  • Uso
  • Experimentos
    • Glue Benchmark
  • Bugs ou perguntas?
  • Citação

Instale requisitos

Etapa 1 : siga as etapas de instalação. Primeiro, verifique se você está instalado no Pytorch.

 pip3 install torch==1.13.0 torchvision

Etapa 2 : depois instale o restante dos pacotes necessários:

 cd AsymmetryLoRA
pip install -r requirement.txt

Uso

Nosso módulo Lorasym segue a estrutura do módulo PEFT. Especificamente, fornecemos uma interface flexível para explicar as configurações de inicialização das matrizes A e B :

• V e U : Matrizes singulares direita e esquerda da matriz de peso original.
• Random : inicializa com uma matriz ortonormal aleatória.
• ele : usa torch.nn.init.kaiming_uniform_ para distribuição uniforme aleatória, otimizando as ativações da camada de rede neural.

Você pode personalizar as matrizes A e B com essas opções.

Matriz	Opções	Exemplo	Explicação
UM	V , rand , he , zero	A_rand	A é intializado como matriz ortonormal aleatório e é congelado durante o treinamento.
B	U , rand , he , zero	hB_zero	B é inicializado como zero e será atualizado.

Explicação: A_rand_hB_zero significa que A é inicializado como ortonormal aleatório e inalterado, enquanto B começa em zero e está sendo atualizado.

Fornecemos um invólucro que compila com outros modelos dos modelos Transformer da Huggingface. A seguir, é apresentado um exemplo de uso:

 from transformers import AutoModelForSequenceClassification
from LoRASYM_peft . local_peft_model_all import PeftModelForCausalLM_local ,
from LoRASYM_peft . local_lorasym_all import LoRASYMConfig

model = AutoModelForSequenceClassification . from_pretrained (
        model_args . model_name_or_path ,
    )

update_rule_dict = para_dict = { "update_A" : False , "update_B" : True , 
"A_init" : "rand" , "B_init" : "zero" }

lorasym_config = LoRASYMConfig (
                r = 16 ,   
                lora_alpha = 32 ,
                lora_dropout = 0.05 ,
                bias = "none" ,
                modules_to_save = [ "classifier" ],
                update_rule = update_rule_dict ,
                task_type = "SEQ_CLS" ,
                )

lora_model = PeftModelForCausalLM_local ( model , lorasym_config )

Glue Benchmark

Use o seguinte comando para ajustar o modelo Roberta-Large para tarefas no benchmark de cola.

 cd GPT_experiments

python -m run_glue_origin_ft --model_name_or_path roberta-large 
    --task_name rte 
    --ft_method LoRASYM 
    --bf16 True 
    --tf32 True 
    --do_train 
    --do_eval 
    --learning_rate 4e-4 
    --num_train_epochs 20 
    --input_seed 7 
    --lora_svd_method A_rand_hB_zero 
    --lora_rank 8 
    --lora_alpha 16 
    --overwrite_output_dir 

Bugs ou perguntas?

Se você tiver alguma dúvida relacionada ao código ou ao artigo, sinta -se à vontade para enviar um e -mail para Jiacheng Zhu ([email protected]). Sinta -se à vontade para abrir um problema se encontrar algum problema ao usar o código.

Citação

Cite nosso artigo se achar o repositório útil em seu trabalho:

 @article { zhu2024asymmetry ,
      title = { Asymmetry in Low-Rank Adapters of Foundation Models } , 
      author = { Jiacheng Zhu and Kristjan Greenewald and Kimia Nadjahi and Haitz Sáez de Ocáriz Borde and Rickard Brüel Gabrielsson and Leshem Choshen and Marzyeh Ghassemi and Mikhail Yurochkin and Justin Solomon } ,
      year = { 2024 } ,
}