AsymmetryLoRA

Asimetría en adaptadores de bajo rango de modelos de fundación

? Preimpresión arxiv

Este repositorio aloja el código para el documento "Asimetría en adaptadores de bajo rango de modelos de base". Descubrimos y análisis de la asimetría de las matrices adaptadoras de Lora B y A ,

? Enlaces rápidos

• Asimetría en adaptadores de bajo rango de modelos de fundación
  • ? Enlaces rápidos
  • Requisitos de instalación
  • Uso
  • Experimentos
    • Punto de referencia de pegamento
  • Errores o preguntas?
  • Citación

Requisitos de instalación

Paso 1 : Siga los pasos de instalación. Primero, asegúrese de tener instalado Pytorch.

 pip3 install torch==1.13.0 torchvision

Paso 2 : luego instale el resto de los paquetes requeridos:

 cd AsymmetryLoRA
pip install -r requirement.txt

Uso

Nuestro módulo Lorasym sigue la estructura del módulo PEFF. Específicamente, proporcionamos una interfaz flexible para tener en cuenta la configuración de inicialización de las matrices A y B :

• V y U : matrices singulares derecha e izquierda de la matriz de peso original.
• aleatorio : se inicializa con una matriz ortonormal aleatoria.
• HE : usa torch.nn.init.kaiming_uniform_ para una distribución uniforme aleatoria, optimizando las activaciones de la capa de red neuronal.

Puede personalizar las matrices A y B con estas opciones.

Matriz	Opción	Ejemplo	Explicación
A	V , rand , he , zero	A_rand	A se intializa como matriz ortonormal aleatoria y se congela durante el entrenamiento.
B	U , rand , he , zero	hB_zero	B se inicializa como cero y se actualizará.

Explicación: A_rand_hB_zero significa que A se inicializa como ortonormal aleatorio y sin cambios, mientras que B comienza en cero y se está actualizando.

Proporcionamos un envoltorio que compila con otros modelos de los modelos Transformer de Huggingface. El siguiente es un ejemplo de uso:

 from transformers import AutoModelForSequenceClassification
from LoRASYM_peft . local_peft_model_all import PeftModelForCausalLM_local ,
from LoRASYM_peft . local_lorasym_all import LoRASYMConfig

model = AutoModelForSequenceClassification . from_pretrained (
        model_args . model_name_or_path ,
    )

update_rule_dict = para_dict = { "update_A" : False , "update_B" : True , 
"A_init" : "rand" , "B_init" : "zero" }

lorasym_config = LoRASYMConfig (
                r = 16 ,   
                lora_alpha = 32 ,
                lora_dropout = 0.05 ,
                bias = "none" ,
                modules_to_save = [ "classifier" ],
                update_rule = update_rule_dict ,
                task_type = "SEQ_CLS" ,
                )

lora_model = PeftModelForCausalLM_local ( model , lorasym_config )

Punto de referencia de pegamento

Use el siguiente comando para ajustar el modelo Roberta-Large para tareas en el punto de referencia de pegamento.

 cd GPT_experiments

python -m run_glue_origin_ft --model_name_or_path roberta-large 
    --task_name rte 
    --ft_method LoRASYM 
    --bf16 True 
    --tf32 True 
    --do_train 
    --do_eval 
    --learning_rate 4e-4 
    --num_train_epochs 20 
    --input_seed 7 
    --lora_svd_method A_rand_hB_zero 
    --lora_rank 8 
    --lora_alpha 16 
    --overwrite_output_dir 

Errores o preguntas?

Si tiene alguna pregunta relacionada con el código o el documento, no dude en enviar un correo electrónico a Jiacheng Zhu ([email protected]). No dude en abrir un problema si encuentra algún problema al usar el código.

Citación

Por favor, cite nuestro documento si encuentra útil el repositorio en su trabajo:

 @article { zhu2024asymmetry ,
      title = { Asymmetry in Low-Rank Adapters of Foundation Models } , 
      author = { Jiacheng Zhu and Kristjan Greenewald and Kimia Nadjahi and Haitz Sáez de Ocáriz Borde and Rickard Brüel Gabrielsson and Leshem Choshen and Marzyeh Ghassemi and Mikhail Yurochkin and Justin Solomon } ,
      year = { 2024 } ,
}