awesome LoRA

Decomposição de baixo rank

Título e autores	Tl; dr	Links
Lora: adaptação de baixo rank de grandes modelos de linguagem Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen	$ H = W_0X + BAX $ $ B in mathbb {r}^{d times r} $ $ A em mathbb {r}^{r times d} $ $ r ll d $	Github Papel
Dora: adaptação de baixo rank de decomposição de peso Shih-yang Liu, Chien-Yi Wang, Hongxu Yin, Pavlo Molchanov, Yu-Chiang Frank Wang, Kwang-Ting Cheng, Min-Hung Chen	Dora decompõe o peso pré-treinado em dois componentes, magnitude e direção e Lora adapta a direção	Github Papel
Vera: adaptação aleatória de matriz baseada em vetores Dawid J. Kopiczko, Tijmen Blankevoort, Yuki M. Asano	Vera Levereges Projeção aleatória para reduzir ainda mais os parâmetros treináveis	Github Papel
Adalora: alocação de orçamento adaptável para ajuste fino com eficiência de parâmetro Qingru Zhang, Minshuo Chen, Alexander Bukharin, Nikos Karampatziakis, Pengcheng He, Yu Cheng, Weizhu Chen, Tuo Zhao	$ h = w_0x + u sigma v^tx $ Poda os valores singulares de atualizações sem importância	Github Papel
Mistura de subspaces na adaptação de baixo rank Taiqiang Wu, Jiahao Wang, Zhe Zhao, Ngai Wong	$ h = w_0x + bsax $ $ B in mathbb {r}^{d times r} $ $ A em mathbb {r}^{r times d} $ $ S em mathbb {r}^{r times r} $ $ r ll d $	Github Papel

Finicar ortogonal

Título e autores	Tl; dr	Links
Controlar a difusão de texto para a imagem por finseta ortogonal Zeju Qiu, Weiyang Liu, Haiwen Feng, Yuxuan Xue, Yao Feng, Zhen Liu, Dan Zhang, Adrian Weller, Bernhard Schölkopf	$ h = mathbf {r} w_0x $ $ mathbf {r} mathbf {r}^⊤ = mathbf {i} $ $ R = (i+q) (i -Q)^{ - 1} $ onde $ Q $ é uma matriz símetro de inclinação $ Q = −q^⊤ $	Github Papel
FINETUNING ORTOGONAL EFFERÊNCIDO DE PARAMETRO VIA FACORTIZAÇÃO BORTERFLY Weiyang Liu, Zeju Qiu, Yao Feng, Yuliang Xiu, Yuxuan Xue, Longhui Yu, Haiwen Feng, Zhen Liu, Juyeon Heo, Songyou Peng, Yandong Wen, Michael J.	Uma parametrização eficiente de $ mathbf {r} $ inspirado no algoritmo FFT	Github Papel
Parâmetro eficiente quase ortogonal de ajuste fino via rotação de givens Xinyu Ma, Xu Chu, Zhibang Yang, Yang Lin, Xin Gao, Junfeng Zhao	Matriz de rotação $ mathbf {r} $ pode ser representado como um produto das rotações de givens	Github Papel
Preencher a lacuna entre a adaptação de baixo rank e ortogonal via adaptação para reflexão do chefe de família Shen Yuan, Haotian Liu, Hongteng Xu	Matriz de rotação $ mathbf {r} $ pode ser representado como um produto das reflexões do chefe de família $ H = i -2UU^T $	Github Papel

Análise teórica de Lora

Título e autores	Tl; dr	Links
Assimetria em adaptadores de baixo rank de modelos de fundação Jiacheng Zhu, Kristjan Greenewald, Kimia Nadjahi, Haitz Sáez de Ocáriz Borde, Rickard Brüel Gabrielsson, Leshem Choshen, Marzyeh Ghassemi, Mikhail Yurochkin, Justin Solomon	A ajuste B é mais impactante do que ajustar um	Github Papel