awesome LoRA

低排放分解

標題和作者	tl; dr	鏈接
洛拉：大語言模型的低排名 愛德華·J·胡（Edward J.	$ H = W_0X + BAX $ $ b in mathbb {r}^{d times r} $ $ a in mathbb {r}^{r times d} $ $ r ll d $	github 紙
朵拉：重量分解的低級適應 Shih-Yang Liu，Chien-Yi Wang，Hongxu Yin，Pavlo Molchanov，Yu-Chiang Frank Wang，Kwang-ting Cheng，Min-Hung Chen	多拉將預訓練的重量分解為兩個組成部分，大小和方向，洛拉適應方向	github 紙
Vera：基於向量的隨機矩陣適應 Dawid J. Kopiczko，Tijmen Blankevoort，Yuki M. Asano	Vera Levereges隨機投影以進一步減少可訓練的參數	github 紙
Adalora：參數有效微調的自適應預算分配 Zhang，Minshuo Chen，Alexander Bukharin，Nikos Karampatziakis，Pengcheng HE，Yu Cheng，Weizhu Chen，Tuo Zhao	$ h = w_0x + u sigma v^tx $ 修剪不重要的更新的單數值	github 紙
低級適應中的貝面混合物 太極拳，王王，Zhe Zhao，ngai wong	$ H = W_0X + BSAX $ $ b in mathbb {r}^{d times r} $ $ a in mathbb {r}^{r times d} $ $ s in mathbb {r}^{r times r} $ $ r ll d $	github 紙

正交固定

標題和作者	tl; dr	鏈接
通過正交填充來控製文本對圖像擴散 Zeju Qiu，Weiyang Liu，Haiwen Feng，Yuxuan Xue，Yao Feng，Zhen Liu，Dan Zhang，Adrian Weller，BernhardSchölkopf	$ h = mathbf {r} w_0x $ 美元 $ r =（i+q）（i -q）^{ - 1} $在哪裡 $ Q $是滿足偏斜的對稱矩陣 $ q = -q^⊤$	github 紙
通過蝴蝶分解參數效率的正交填充 Weiyang Liu，Zeju Qiu，Yao Feng，Yuliang Xiu，Yuxuan Xue，Longhui Yu，Haiwen Feng，Zhen Liu，Juyeon Heo，Songyou Peng，Yandong Wen，Yandong Wen，Michael J. Michael J.	有效的參數化 $ mathbf {r} $受FFT算法的啟發	github 紙
參數有效的準正交微調通過givens旋轉 Xinyu MA，Xu Chu，Zhibang Yang，Yang Lin，Xin Gao，Junfeng Zhao	旋轉矩陣 $ mathbf {r} $可以表示為givens旋轉的產物	github 紙
通過住戶反射適應，彌合低級和正交適應之間的差距 元元，劉海，徐XU	旋轉矩陣 $ mathbf {r} $可以作為家庭反思的產物表示 $ h = i -2uu^t $	github 紙

洛拉的理論分析

標題和作者	tl; dr	鏈接
基礎模型低級適配器中的不對稱性 Jicheng Zhu，Kristjan Greenewald，Kimia Nadjahi，HaitzSáezDeCárizBorde，RickardBrüelGabrielsson，Leshem Choshen，Marzyeh Ghassemi，Mikhail Yurochkin	調諧B比調整A更具影響力	github 紙