SORSA

SORSA：奇异价值和正规正规化奇异向量的适应大型语言模型

该存储库包含纸质索萨的实验的代码：奇异值和大型语言模型的正规正规化奇异矢量的适应。

大语言模型（LLMS）的快速进步伴随着其参数大小的显着增加，对适应和微调提出了挑战。参数有效的微调（PEFT）方法被广泛用于适应下游任务的LLMS。在本文中，我们提出了奇异的值和正规正规化的奇异矢量适应，或者是一种新型的PEFT方法SORSA。每个SORSA适配器由两个主要部分组成：可训练的主要奇异重量 $ w_p = u_p text {diag}（s_p）v^ top_p $和冷冻的残留重量 $ w_r = u_r text {diag}（s_r）v^ top_r $ 。这些零件是通过对预训练的重量进行SVD​​初始化的。此外，我们实施和分析正规规则器。可以在推理过程中合并SORSA适配器，从而消除任何推论潜伏期。

经验实验

重现实验

首先，从PIP安装sorsa软件包：

pip install sorsa

然后，在项目的根目录中创建.env文件，并添加您的拥抱面孔访问令牌：

hf=Your_Hugging_Face_Access_Token

Llama 2 7b，Mistral v0.1 7b和Gemma 7b

首先，通过Anaconda安装软件包

conda env create -f environment.yml

从./scripts/train_sorsa.sh运行脚本以训练模型。

训练后，运行./scripts/merge_sorsa.sh将适配器合并到基本模型：

运行以下命令以在GSM-8K上进行评估：

python3 run.py --name llama2_sorsa_r128 
  --test 
  --test-dataset gsm-8k 
  --test-precision bf16

运行以下命令进行数学评估：

python3 run.py --name llama2_sorsa_r128 
  --test 
  --test-dataset math 
  --test-precision bf16

运行以下命令以评估人类事件：

python3 run.py --name llama2_sorsa_r128 
  --test 
  --test-dataset humaneval 
  --test-precision bf16

RWKV6

如果您正在培训，合并或测试RWKV6型号，请添加--rwkv标志为run.py

引用工作

您可以使用Bibtex代码来引用工作，如下所示：

 @article { cao2024sorsa ,
  title = { SORSA: Singular Values and Orthonormal Regularized Singular Vectors Adaptation of Large Language Models } ,
  author = { Cao, Yang } ,
  journal = { arXiv preprint arXiv:2409.00055 } ,
  year = { 2024 }
}