awesome LoRA

Dekomposisi peringkat rendah

Judul & Penulis	Tl; dr	Tautan
Lora: Adaptasi Rendah dari Model Bahasa Besar Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen	$ h = W_0X + BAX $ $ B di mathbb {r}^{d kali r} $ $ A in mathbb {r}^{r kali d} $ $ r ll d $	GitHub Kertas
Dora: Adaptasi peringkat rendah yang sudah dikomposisi dengan berat badan Shih-Yang Liu, Chien-Yi Wang, Hongxu Yin, Pavlo Molchanov, Yu-Chiang Frank Wang, Kwang-Ting Cheng, Min-Hung Chen	Dora menguraikan berat pra-terlatih menjadi dua komponen, besarnya dan arah, dan Lora mengadaptasi arah	GitHub Kertas
Vera: Adaptasi Matriks Acak Berbasis Vektor Dawid J. Kopiczko, Tijmen Blankevoort, Yuki M. Asano	Vera Levereges Proyeksi acak untuk lebih mengurangi parameter yang dapat dilatih	GitHub Kertas
Adalora: Alokasi anggaran adaptif untuk fine-tuning efisien parameter Qingru Zhang, Minshuo Chen, Alexander Bukharin, Nikos Karampatziakis, Pengcheng He, Yu Cheng, Weizhu Chen, Tuo Zhao	$ h = w_0x + u sigma v^tx $ Prune nilai tunggal pembaruan yang tidak penting	GitHub Kertas
Campuran Subspas dalam Adaptasi Rendah Taiqiang Wu, JiaHao Wang, Zhe Zhao, Ngai Wong	$ h = w_0x + bsax $ $ B di mathbb {r}^{d kali r} $ $ A in mathbb {r}^{r kali d} $ $ S di mathbb {r}^{r kali r} $ $ r ll d $	GitHub Kertas

Finetuing ortogonal

Judul & Penulis	Tl; dr	Tautan
Mengontrol difusi teks-ke-gambar dengan finetuning ortogonal Zeju Qiu, Weiyang Liu, Haiwen Feng, Yuxuan Xue, Yao Feng, Zhen Liu, Dan Zhang, Adrian Weller, Bernhard Schölkopf	$ h = mathbf {r} w_0x $ $ mathbf {r} mathbf {r}^⊤ = mathbf {i} $ $ R = (i+q) (i - q)^{ - 1} $ Di mana $ Q $ adalah matriks miring-simetris yang memuaskan $ Q = −q^⊤ $	GitHub Kertas
Finetuning ortogonal yang efisien parameter melalui faktorisasi kupu-kupu Weiyang Liu, Zeju Qiu, Yao Feng, Yuliang Xiu, Yuxuan Xue, Longhui Yu, Haiwen Feng, Zhen Liu, Juyeon Heo, Songyou Peng, Yandong Wen, Michael J. Black, Adrian Weller, Bernhard Schölkopf, Wen, Michael J., Adrian Weller, Bernhard Schölkopfffffff, Wen, Michael J., Adrian Weller, Bernhard Schölkopfffffffff, Wen, Michael J., Weller, Bernhard Schölkopfffffffffffff,	Parametriisasi yang efisien $ mathbf {r} $ Terinspirasi oleh algoritma FFT	GitHub Kertas
Parameter efisien fine-tuning ortogonal melalui rotasi givens Xinyu MA, Xu Chu, Zhibang Yang, Yang Lin, Xin Gao, Junfeng Zhao	Matriks rotasi $ mathbf {r} $ dapat direpresentasikan sebagai produk rotasi givens	GitHub Kertas
Menjembatani kesenjangan antara adaptasi rank rendah dan ortogonal melalui adaptasi refleksi rumah tangga Shen Yuan, Haotian Liu, Hongteng Xu	Matriks rotasi $ mathbf {r} $ dapat direpresentasikan sebagai produk dari refleksi rumah tangga $ H = i -2uu^t $	GitHub Kertas

Analisis Teoritis Lora

Judul & Penulis	Tl; dr	Tautan
Asimetri pada adaptor ranker rendah dari model yayasan Jiacheng Zhu, Kristjan Greenewald, Kimia Nadjahi, Haitz Sáez de Ocáriz Borde, Rickard Brüel Gabrielsson, Leshem Choshen, Marzyeh Ghassemi, Mikhail Yurochkin, Justin Solomon, Justin Solomon, Justin Solomon, Mikhail, Justin Solomon, Justin Solomon, Mikhail, Justin, Justin Solomon, Justin Justin, Mikhail, Mikhail, Justin Justin, Justin, Mikhail, Mikhail, Justin Mikhail, Mikhail, Justin Justin, Justin, Justin Mikhail	Tuning B lebih berdampak daripada menyetel A	GitHub Kertas