awesome LoRA

Décomposition de faible rang

Titre et auteurs	Tl; dr	Links
LORA: Adaptation de faible rang des modèles de grandes langues Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen	$ h = w_0x + bax $ $ B in mathbb {r} ^ {d Times R} $ $ A in mathbb {r} ^ {r Times d} $ $ r ll d $	Github Papier
Dora: adaptation de faible rang décomposée en poids Shih-Yang Liu, Chien-Yi Wang, Hongxu Yin, Pavlo Molchanov, Yu-Chiang Frank Wang, Kwang-Ting Cheng, Min-Hung Chen	Dora décompose le poids pré-formé en deux composants, l'ampleur et la direction, et Lora adapte la direction	Github Papier
Vera: adaptation à matrice aléatoire basée sur un vecteur Dawid J. Kopiczko, Tijmen Blankevoort, Yuki M. Asano	Vera Leveregs Projection aléatoire pour réduire davantage les paramètres d'entraînement	Github Papier
Adalora: allocation budgétaire adaptative pour le réglage fin et efficace par les paramètres Qingru Zhang, Minshuo Chen, Alexander Bukharin, Nikos Karampatziakis, Pengcheng He, Yu Cheng, Weizhu Chen, Tuo Zhao	$ h = w_0x + u sigma v ^ tx $ Tailler les valeurs singulières des mises à jour sans importance	Github Papier
Mélange de sous-espaces dans une adaptation de faible rang Taiqiang Wu, Jiahao Wang, Zhe Zhao, Ngai Wong	$ h = w_0x + bsax $ $ B in mathbb {r} ^ {d Times R} $ $ A in mathbb {r} ^ {r Times d} $ $ S in mathbb {r} ^ {r Times R} $ $ r ll d $	Github Papier

Finesse orthogonale

Titre et auteurs	Tl; dr	Links
Contrôle de la diffusion du texte à l'image par des finetun orthogonaux Zeju Qiu, Weiyang Liu, Haiwen Feng, Yuxuan Xue, Yao Feng, Zhen Liu, Dan Zhang, Adrian Weller, Bernhard Schölkopf	$ h = mathbf {r} w_0x $ $ mathbf {r} mathbf {r} ^ ⊤ = mathbf {i} $ $ R = (i + q) (i --q) ^ {- 1} $ où $ Q $ Une matrice symétrique asymétrique est-elle satisfaisante $ Q = −q ^ ⊤ $	Github Papier
Finetuning orthogonal économe en paramètres via la factorisation des papillons Weiyang Liu, Zeju Qiu, Yao Feng, Yuliang Xiu, Yuxuan Xue, Longhui Yu, Haiwen Feng, Zhen Liu, Juyeon Heo, Songyou Peng, Yandong Wen, Michael J. Black, Adrian Weller, Bernhard Scölkopf	Une paramétrisation efficace de $ mathbf {r} $ inspiré par l'algorithme FFT	Github Papier
Paramètre Efficient Quasi-orthogonal Fineur Tuning via Givens Rotation Xinyu MA, Xu Chu, Zhibang Yang, Yang Lin, Xin Gao, Junfeng Zhao	Matrice de rotation $ mathbf {r} $ peut être représenté comme un produit des rotations de don	Github Papier
Combler l'écart entre l'adaptation de faible rang et orthogonal via l'adaptation de la réflexion des ménages Shen Yuan, Haotian Liu, Hongteng Xu	Matrice de rotation $ mathbf {r} $ peut être représenté comme un produit des réflexions du ménage $ H = i -2uu ^ t $	Github Papier

Analyse théorique de Lora

Titre et auteurs	Tl; dr	Links
Asymétrie dans les adaptateurs de bas rang des modèles de fondation Jiacheng Zhu, Kristjan Greenewald, Kimia Nadjahi, Haitz Sáez de Ocáriz Borde, Rickard Brüel Gabrielsson, Lesh Choshen, Marzyeh Ghassemi, Mikhail Yurochkin, Justin Solomon	Le réglage B a plus d'impact que le réglage A	Github Papier