awesome LoRA

Descomposición de bajo rango

Título y autores	Tl; Dr	Campo de golf
Lora: adaptación de bajo rango de modelos de idiomas grandes Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen	$ H = W_0X + BAX $ $ B in mathbb {r}^{d times r} $ $ A in mathbb {r}^{r times d} $ $ r ll d $	Github Papel
Dora: adaptación de bajo rango descompuesto de peso Shih-yang Liu, Chien-yi Wang, Hongxu Yin, Pavlo Molchanov, Yu-Chiang Frank Wang, Kwang-Ting Cheng, Min-Hung Chen	Dora descompone el peso previamente capacitado en dos componentes, magnitud y dirección, y Lora adapta la dirección	Github Papel
Vera: adaptación de matriz aleatoria basada en vectores Dawid J. Kopiczko, Tijmen BlankeVoort, Yuki M. Asano	Vera apalencia la proyección aleatoria para reducir aún más los parámetros capacitables	Github Papel
Adalora: asignación de presupuesto adaptativo para el ajuste fino de los parámetros y los parámetros Qingru Zhang, Minshuo Chen, Alexander Bukharin, Nikos Karampatziakis, Pengcheng He, Yu Cheng, Weizhu Chen, Tuo Zhao	$ h = w_0x + u sigma v^tx $ Podar los valores singulares de actualizaciones sin importancia	Github Papel
Mezcla de sus espacios en adaptación de bajo rango Taiqiang Wu, Jiahao Wang, Zhe Zhao, Ngai Wong	$ H = W_0X + BSAX $ $ B in mathbb {r}^{d times r} $ $ A in mathbb {r}^{r times d} $ $ S in mathbb {r}^{r times r} $ $ r ll d $	Github Papel

Fineting ortogonal

Título y autores	Tl; Dr	Campo de golf
Control de difusión de texto a imagen por fino ortogonal Zeju Qiu, Weiyang Liu, Haiwen Feng, Yuxuan Xue, Yao Feng, Zhen Liu, Dan Zhang, Adrian Weller, Bernhard Schölkopf	$ h = mathbf {r} w_0x $ $ mathbf {r} mathbf {r}^⊤ = mathbf {i} $ $ R = (i+q) (i --q)^{ - 1} $ dónde $ Q $ ¿Es una matriz simétrica sesgada satisfactoria? $ Q = −q^⊤ $	Github Papel
Fineta ortogonal eficiente en parámetros a través de la factorización de mariposa Weiyang Liu, Zeju Qiu, Yao Feng, Yuliang Xiu, Yuxuan Xue, Longhui Yu, Haiwen Feng, Zhen Liu, Juyeon Heo, Songyou Peng, Yandong Wen, Michael J. Black, Adrian Weller, Bernhard Schölkopf	Una parametrización eficiente de $ mathbf {r} $ Inspirado en el algoritmo FFT	Github Papel
Parámetros Eficiente cuasi-ortogonal ajustado a través de la rotación de Givens Xinyu MA, Xu Chu, Zhibang Yang, Yang Lin, Xin Gao, Junfeng Zhao	Matriz de rotación $ mathbf {r} $ puede representarse como un producto de las rotaciones de Givens	Github Papel
Pinchar la brecha entre la adaptación de bajo rango y ortogonal a través de la adaptación de reflexión del hogar Shen Yuan, Haotian Liu, Hongteng Xu	Matriz de rotación $ mathbf {r} $ puede representarse como un producto de las reflexiones del hogar $ H = i -2uu^t $	Github Papel

Análisis teórico de Lora

Título y autores	Tl; Dr	Campo de golf
Asimetría en adaptadores de bajo rango de modelos de fundación Jiacheng Zhu, Kristjan Greenewald, Kimia Nadjahi, Haitz Sáez de Ocáriz Borde, Rickard Brüel Gabrielsson, Leshem Choshen, Marzyeh Ghassemi, Mikhail Yurochkin, Justin Solomon	Afinar B es más impactante que ajustar un	Github Papel