awesome LoRA

低ランク分解

タイトルと著者	tl; dr	リンク
LORA：大規模な言語モデルの低ランク適応 エドワード・J・フー、イェロング・シェン、フィリップ・ウォリス、ゼイアン・アレン・Zhu、元元、シェン・ワン、ルー・ワン、ワイジュ・チェン	$ h = w_0x + bax $ $ b in mathbb {r}^{d times r} $ $ a in mathbb {r}^{r times d} $ $ r ll d $	github 紙
DORA：減量の低いランク適応 Shih-Yang Liu、Chien-Yi Wang、Hongxu Yin、Pavlo Molchanov、Yu-Chiang Frank Wang、Kwang-Ting Cheng、Min-Hung Chen	Doraは、事前に訓練された重量を大きさと方向の2つのコンポーネントに分解し、Loraは方向に適応します	github 紙
Vera：ベクトルベースのランダムマトリックス適応 Dawid J. Kopiczko、Tijmen Blankevoort、Yuki M. Asano	Vera Leveregesトレーニング可能なパラメーターをさらに減らすためのランダム投影	github 紙
Adalora：パラメーター効率の高い微調整のための適応予算配分 Qingru Zhang、Minshuo Chen、Alexander Bukharin、Nikos Karampatziakis、Pengcheng He、Yu Cheng、Weizhu Chen、Tuo Zhao	$ h = w_0x + u sigma v^tx $ 重要でない更新の特異な値をプルーズします	github 紙
低ランクの適応における混合物の混合物 台湾・ウー、ジャハオ・ワン、Zhe Zhao、Ngai Wong	$ h = w_0x + bsax $ $ b in mathbb {r}^{d times r} $ $ a in mathbb {r}^{r times d} $ $ s in mathbb {r}^{r times r} $ $ r ll d $	github 紙

直交微調整

タイトルと著者	tl; dr	リンク
直交微調ューによるテキスト間拡散の制御 Zeju Qiu、Weiyang Liu、Haiwen Feng、Yuxuan Xue、Yao Feng、Zhen Liu、Dan Zhang、Adrian Weller、BernhardSchölkopf	$ h = mathbf {r} w_0x $ $ mathbf {r} mathbf {r}^⊤= mathbf {i} $ $ r =（i+q）（i -q）^{ - 1} $どこ $ q $歪んだ対称マトリックスが満足のいくものです $ q = −q^⊤$	github 紙
蝶の因数分解によるパラメーター効率の高い直交微調整 Weiyang Liu、Zeju Qiu、Yao Feng、Yuliang Xiu、Yuxuan Xue、Longhui Yu、Haiwen feng、Zhen Liu、Juyeon Heo、Songyou Peng、Yandong Wen、Michael J. Black、Adrian Weller、Bernhard Schlkopff	の効率的なパラメーター化 $ mathbf {r} $ FFTアルゴリズムに触発されました	github 紙
パラメーター効率的な準正所微調整された微調整 Xinyu MA、Xu Chu、Zibang Yang、Yang Lin、Xin Gao、Junfeng Zhao	回転マトリックス $ mathbf {r} $ギブンズのローテーションの産物として表すことができます	github 紙
世帯主の反射適応による低ランクと直交の適応の間のギャップを埋める シェン・ユーアン、ハオチアン・リュー、ホンテンXu	回転マトリックス $ mathbf {r} $世帯主の反省の産物として表すことができます $ h = i -2uu^t $	github 紙

ロラの理論分析

タイトルと著者	tl; dr	リンク
基礎モデルの低ランクアダプターの非対称性 Jiacheng Zhu、Kristjan Greenewald、Kimia Nadjahi、HaitzSáezdeCocárizBorde、RickardBrüelGabrielsson、Leshem Choshen、Marzyeh Ghassemi、Mikhail Yurochkin、Justin Solomon	チューニングBは、aをチューニングするよりもインパクトがあります	github 紙