awesome LoRA

낮은 순위 분해

제목 및 저자	tl; dr	모래밭
LORA : 대형 언어 모델의 낮은 순위 적응 Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen	$ h = w_0x + bax $ $ b in mathbb {r}^{d times r} $ $ a in mathbb {r}^{r times d} $ $ r ll d $	github 종이
DORA : 체중 감량 저급 적응 Shih-Yang Liu, Chien-Yi Wang, Hongxu Yin, Pavlo Molchanov, Yu-Chiang Frank Wang, Kwang-Ting Cheng, Min-Hung Chen	Dora는 미리 훈련 된 중량을 두 가지 구성 요소, 크기 및 방향으로 분해하며 Lora는 방향을 적응시킵니다.	github 종이
Vera : 벡터 기반 랜덤 매트릭스 적응 Dawid J. Kopiczko, Tijmen Blankevoort, Yuki M. Asano	Vera Levereges Random Projections를 위해 훈련 가능한 매개 변수를 추가로 줄입니다.	github 종이
Adalora : 매개 변수 효율적인 미세 조정에 대한 적응 예산 할당 Qingru Zhang, Minshuo Chen, Alexander Bukharin, Nikos Karampatziakis, Pengcheng HE, Yu Cheng, Weizhu Chen, Tuo Zhao	$ h = w_0x + u sigma v^tx $ 중요하지 않은 업데이트의 단일 값을 가지십시오	github 종이
저 순위 적응에서 혼합 공간 Taiqiang Wu, Jiahao Wang, Zhe Zhao, Ngai Wong	$ h = w_0x + bsax $ $ b in mathbb {r}^{d times r} $ $ a in mathbb {r}^{r times d} $ $ s in mathbb {r}^{r times r} $ $ r ll d $	github 종이

직교적인 최종

제목 및 저자	tl; dr	모래밭
직교 결승에 의한 텍스트-이미지 확산 제어 Zeju Qiu, Weiyang Liu, Haiwen Feng, Yuxuan Xue, Yao Feng, Zhen Liu, Dan Zhang, Adrian Weller, Bernhard Schölkopf	$ h = mathbf {r} w_0x $ $ mathbf {r} mathbf {r}^⊤ ⊤ = mathbf {i} $ $ r = (i+q) (i -q)^{-1} $ 어디 $ q $ 비대칭 행렬입니다 $ q = -q^⊤ $	github 종이
나비 인수 화를 통한 파라미터 효율적인 직교 결합 Weiyang Liu, Zeju Qiu, Yao Feng, Yuliang Xiu, Yuxuan Xue, Longhui Yu, Haiwen Feng, Zhen Liu, Juyeon Heo, Songyou Peng, Yandong Wen, Michael J. Black, Adrian Weller, Bernhard Schölkopf	효율적인 매개 변수화 $ mathbf {r} $ FFT 알고리즘에서 영감을 얻었습니다	github 종이
매개 변수 효율적인 준 정체 미세 조정 기지 회전을 통한 Xinyu MA, Xu Chu, Zhibang Yang, Yang Lin, Xin Gao, Junfeng Zhao	회전 매트릭스 $ mathbf {r} $ Givens 회전 의 산물로 표시 될 수 있습니다	github 종이
가정용 반사 적응을 통한 저 순위와 직교 적응 사이의 격차 해소 Shen Yuan, Haotian Liu, Hongteng Xu	회전 매트릭스 $ mathbf {r} $ 가정용 반사 의 산물로 표현 될 수 있습니다 $ h = i -2uu^t $	github 종이

로라의 이론적 분석

제목 및 저자	tl; dr	모래밭
기초 모델의 저 순위 어댑터의 비대칭 Jiacheng Zhu, Kristjan Greenewald, Kimia Nadjahi, Haitz Sáez de Ocáriz Borde, Rickard Brüel Gabrielsson, Leshem Choshen, Marzyeh Ghassemi, Mikhail Yurochkin, Justin Solomon	B 조정 B는 a를 조정하는 것보다 더 큰 영향을 미칩니다	github 종이