SORSA

SORSA：特異値と正規の正規化された特異ベクトルの大規模な言語モデルの適応

このリポジトリには、SORSAの紙の実験コードが含まれています：特異値と、大規模な言語モデルの正規定型化された単数形のベクトル適応が含まれています。

大規模な言語モデル（LLMS）の急速な進歩には、パラメーターサイズが大幅に増加し、適応と微調整の課題があります。パラメーター効率の高い微調整（PEFT）メソッドは、LLMSをダウンストリームタスクに効率的に適応させるために広く使用されています。このホワイトペーパーでは、単数の値と正規の正規化された特異ベクターの適応、または新しいPEFT法であるSORSAを提案します。各SORSAアダプターは、2つの主要な部分で構成されています。トレーニング可能な主要な特異ウェイト $ w_p = u_p text {diag}（s_p）v^ top_p $ 、および凍結残留重量 $ w_r = u_r text {diag}（s_r）v^ top_r $ 。これらの部品は、事前に訓練された重量でSVDを実行することにより初期化されます。さらに、オルソーマルの正規者を実装および分析します。 SORSAアダプターは推論中にマージされる可能性があるため、推論の遅延が排除されます。

経験的実験

実験を再現します

まず、PIPからsorsaパッケージをインストールします。

pip install sorsa

次に、プロジェクトのルートディレクトリに.envファイルを作成し、ハグするフェイスアクセストークンを追加します。

hf=Your_Hugging_Face_Access_Token

Llama 2 7b、Mistral V0.1 7bおよびGemma 7b

まず、Anaconda経由でパッケージをインストールします

conda env create -f environment.yml

./scripts/train_sorsa.shからスクリプトを実行して、モデルをトレーニングします。

トレーニング後、 ./scripts/merge_sorsa.sh merge_sorsa.shを実行して、アダプターをベースモデルにマージします。

次のコマンドを実行してGSM-8Kで評価します。

python3 run.py --name llama2_sorsa_r128 
  --test 
  --test-dataset gsm-8k 
  --test-precision bf16

数学で評価するために次のコマンドを実行します。

python3 run.py --name llama2_sorsa_r128 
  --test 
  --test-dataset math 
  --test-precision bf16

次のコマンドを実行して、Humanevalで評価します。

python3 run.py --name llama2_sorsa_r128 
  --test 
  --test-dataset humaneval 
  --test-precision bf16

rwkv6

RWKV6モデルのトレーニング、マージ、またはテストを行っている場合は、 --rwkvフラグをrun.pyに追加してください。

作品を引用します

次のように、bibtexコードを使用して作業を引用できます。

 @article { cao2024sorsa ,
  title = { SORSA: Singular Values and Orthonormal Regularized Singular Vectors Adaptation of Large Language Models } ,
  author = { Cao, Yang } ,
  journal = { arXiv preprint arXiv:2409.00055 } ,
  year = { 2024 }
}