awesome LoRA

低排放分解

标题和作者	tl; dr	链接
洛拉：大语言模型的低排名 爱德华·J·胡（Edward J.	$ H = W_0X + BAX $ $ b in mathbb {r}^{d times r} $ $ a in mathbb {r}^{r times d} $ $ r ll d $	github 纸
朵拉：重量分解的低级适应 Shih-Yang Liu，Chien-Yi Wang，Hongxu Yin，Pavlo Molchanov，Yu-Chiang Frank Wang，Kwang-ting Cheng，Min-Hung Chen	多拉将预训练的重量分解为两个组成部分，大小和方向，洛拉适应方向	github 纸
Vera：基于向量的随机矩阵适应 Dawid J. Kopiczko，Tijmen Blankevoort，Yuki M. Asano	Vera Levereges随机投影以进一步减少可训练的参数	github 纸
Adalora：参数有效微调的自适应预算分配 Zhang，Minshuo Chen，Alexander Bukharin，Nikos Karampatziakis，Pengcheng HE，Yu Cheng，Weizhu Chen，Tuo Zhao	$ h = w_0x + u sigma v^tx $ 修剪不重要的更新的单数值	github 纸
低级适应中的贝面混合物 太极拳，王王，Zhe Zhao，ngai wong	$ H = W_0X + BSAX $ $ b in mathbb {r}^{d times r} $ $ a in mathbb {r}^{r times d} $ $ s in mathbb {r}^{r times r} $ $ r ll d $	github 纸

正交固定

标题和作者	tl; dr	链接
通过正交填充来控制文本对图像扩散 Zeju Qiu，Weiyang Liu，Haiwen Feng，Yuxuan Xue，Yao Feng，Zhen Liu，Dan Zhang，Adrian Weller，BernhardSchölkopf	$ h = mathbf {r} w_0x $ 美元 $ r =（i+q）（i -q）^{ - 1} $在哪里 $ Q $是满足偏斜的对称矩阵 $ q = -q^⊤$	github 纸
通过蝴蝶分解参数效率的正交填充 Weiyang Liu，Zeju Qiu，Yao Feng，Yuliang Xiu，Yuxuan Xue，Longhui Yu，Haiwen Feng，Zhen Liu，Juyeon Heo，Songyou Peng，Yandong Wen，Yandong Wen，Michael J. Michael J.	有效的参数化 $ mathbf {r} $受FFT算法的启发	github 纸
参数有效的准正交微调通过givens旋转 Xinyu MA，Xu Chu，Zhibang Yang，Yang Lin，Xin Gao，Junfeng Zhao	旋转矩阵 $ mathbf {r} $可以表示为givens旋转的产物	github 纸
通过住户反射适应，弥合低级和正交适应之间的差距 元元，刘海，徐XU	旋转矩阵 $ mathbf {r} $可以作为家庭反思的产物表示 $ h = i -2uu^t $	github 纸

洛拉的理论分析

标题和作者	tl; dr	链接
基础模型低级适配器中的不对称性 Jicheng Zhu，Kristjan Greenewald，Kimia Nadjahi，HaitzSáezDeCárizBorde，RickardBrüelGabrielsson，Leshem Choshen，Marzyeh Ghassemi，Mikhail Yurochkin	调谐B比调整A更具影响力	github 纸