awesome LoRA

Zersetzung mit niedriger Rang

Titel & Autoren	Tl; dr	Links
LORA: Niedrige Anpassung von Großsprachmodellen Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weishu Chen	$ H = w_0x + bax $ $ B in mathbb {r}^{d Times r} $ $ A in mathbb {r}^{r times d} $ $ r ll d $	Github Papier
DORA: Gewichtsbekämpfte Anpassung mit niedriger Rang Shih-yang Liu, Chien-yi Wang, Hongxu Yin, Pavlo Molchanov, Yu-Chiang Frank Wang, Kwang-Ting Cheng, Minhung Chen	Dora zersetzt das Gewicht vor ausgebildet in zwei Komponenten: Größe und Richtung, und Lora passt die Richtung an	Github Papier
Vera: Vektorbasierte Zufallsmatrixanpassung Dawid J. Kopiczko, Tijmen Blankevoort, Yuki M. Asano	Vera Levereges zufällige Projektion, um die trainierbaren Parameter weiter zu reduzieren	Github Papier
Adalora: Adaptive Budgetzuweisung für parametereffiziente Feinabstimmungen Qingru Zhang, Minshuo Chen, Alexander Bukharin, Nikos Karampiekis, Pengcheng HE, Yu Cheng, Weizhu Chen, Tuo Zhao	$ H = w_0x + u sigma v^tx $ Beschneiden Sie die einzigartigen Werte unwichtiger Updates	Github Papier
Subspaces-Mischung in der Anpassung mit niedriger Rang Taiqiang Wu, Jiahao Wang, Zhe Zhao, Ngai Wong	$ H = W_0X + BSAX $ $ B in mathbb {r}^{d Times r} $ $ A in mathbb {r}^{r times d} $ $ S in mathbb {r}^{r times r} $ $ r ll d $	Github Papier

Orthogonale Fülle

Titel & Autoren	Tl; dr	Links
Kontrolle der Text-zu-Im-Image-Diffusion durch orthogonale Finetuning Zeju Qiu, Weiyang Liu, Haiwen Feng, Yuxuan Xue, Yao Feng, Zhen Liu, Dan Zhang, Adrian Weller, Bernhard Schölkopf	$ H = mathbf {r} w_0x $ $ mathbf {r} mathbf {r}^⊤ = mathbf {i} $ $ R = (i+q) (i - Q)^{ - 1} $ Wo $ Q $ ist eine schief symmetrische Matrix, die befriedigend ist $ Q = −q^⊤ $	Github Papier
Parametereffiziente orthogonale Finetuning durch Schmetterlingsfaktorisierung Weiyang Liu, Zeju Qiu, Yao Feng, Yuliang Xiu, Yuxuan Xue, Longhui Yu, Haiwen Feng, Zhen Liu, Juyeon Heo, Songyou Peng, Yandong Wen, Michael J. Black, Adrian Weller, Bernhard Schölkopf	Eine effiziente Parametrisierung von $ mathbf {r} $ inspiriert vom FFT -Algorithmus	Github Papier
Parameter effizienter quasi-orthogonaler Feinabstimmung durch Givens-Rotation Xinyu MA, Xu Chu, Zhibang Yang, Yang Lin, Xin Gao, Junfeng Zhao	Rotationsmatrix $ mathbf {r} $ kann als Produkt von Givens -Rotationen dargestellt werden	Github Papier
Überbrückung der Lücke zwischen niedriger und orthogonaler Anpassung durch Anpassung der Haushaltereflexion Shen Yuan, Haotian Liu, Hongeng Xu	Rotationsmatrix $ mathbf {r} $ kann als Produkt von Haushaltenreflexionen dargestellt werden $ H = I -2UU^T $	Github Papier

Theoretische Analyse von Lora

Titel & Autoren	Tl; dr	Links
Asymmetrie in niedrigen Adaptern von Stiftungsmodellen Jihoachen Zhu, Kristjan Greenewald, Kimia Nadjahi, Haitz Sáez de Ocáriz Borde, Rickard Brrüel Gabrielsson, Leshem Choshen, Marzyeh Ghassemi, Mikhail Yurochkin, Justin Solomon	Das Tuning B ist wirksamer als das Tuning a	Github Papier