awesome LoRA

การสลายตัวระดับต่ำ

ชื่อเรื่องและผู้แต่ง	tl; dr	ลิงค์
LORA: การปรับระดับต่ำของแบบจำลองภาษาขนาดใหญ่ Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen	$ h = w_0x + bax $ $ b in mathbb {r}^{d times r} $ $ a in mathbb {r}^{r times d} $ $ r ll d $	คนอื่น ๆ กระดาษ
Dora: การปรับระดับต่ำที่ลดน้ำหนัก Shih-Yang Liu, Chien-Yi Wang, Hongxu Yin, Pavlo Molchanov, Yu-Chiang Frank Wang, Cheng-ting Cheng, Min-Hung Chen	Dora สลายตัวน้ำหนักที่ได้รับการฝึกอบรมล่วงหน้าเป็นสององค์ประกอบขนาดและทิศทางและ Lora ปรับทิศทาง	คนอื่น ๆ กระดาษ
Vera: การปรับเมทริกซ์แบบสุ่มตามเวกเตอร์ Dawid J. Kopiczko, Tijmen Blankevoort, Yuki M. Asano	Vera Levereges การฉายแบบสุ่มเพื่อลดพารามิเตอร์ที่สามารถฝึกอบรมได้	คนอื่น ๆ กระดาษ
Adalora: การจัดสรรงบประมาณแบบปรับตัวสำหรับการปรับแต่งพารามิเตอร์อย่างละเอียด ชิงรุจาง, มินชูโอะเฉิน, อเล็กซานเดอร์บูคาริน, Nikos Karampatziakis, Pengcheng HE, Yu Cheng, Weizhu Chen, Tuo Zhao	$ h = w_0x + u sigma v^tx $ ตัดค่าเอกพจน์ของการอัปเดตที่ไม่สำคัญ	คนอื่น ๆ กระดาษ
ส่วนผสมของพื้นผิวในการปรับระดับต่ำ Taiqiang Wu, Jiahao Wang, Zhe Zhao, Ngai Wong	$ h = w_0x + bsax $ $ b in mathbb {r}^{d times r} $ $ a in mathbb {r}^{r times d} $ $ s in mathbb {r}^{r times r} $ $ r ll d $	คนอื่น ๆ กระดาษ

finetuing orthogonal

ชื่อเรื่องและผู้แต่ง	tl; dr	ลิงค์
การควบคุมการแพร่กระจายข้อความไปยังภาพโดย finetuning orthogonal Zeju Qiu, Weiyang Liu, Haiwen Feng, Yuxuan Xue, Yao Feng, Zhen Liu, Dan Zhang, Adrian Weller, Bernhard Schölkopf	$ h = mathbf {r} w_0x $ $ mathbf {r} mathbf {r}^⊤ = mathbf {i} $ $ r = (i+q) (i - q)^{ - 1} $ ที่ไหน $ q $ เป็นเมทริกซ์ที่เบ้มอมมอม $ q = −q^⊤ $	คนอื่น ๆ กระดาษ
พารามิเตอร์ที่มีประสิทธิภาพในการปรับแต่ง finetuning ผ่านการแยกตัวประกอบผีเสื้อ Weiyang Liu, Zeju Qiu, Yao Feng, Yuliang Xiu, Yuxuan Xue, Longhui Yu, Haiwen Feng, Zhen Liu, Juyeon Heo, Songyou Peng, Yandong Wen, Michael J. Black, Adrian Weller	การพารามิเตอร์ที่มีประสิทธิภาพของ $ mathbf {r} $ แรงบันดาลใจจากอัลกอริทึม FFT	คนอื่น ๆ กระดาษ
พารามิเตอร์การปรับแต่งการปรับแต่งแบบกึ่ง orthogonal ผ่านการหมุนของ Givens Xinyu Ma, Xu Chu, Zibang Yang, Yang Lin, Xin Gao, Junfeng Zhao	เมทริกซ์การหมุน $ mathbf {r} $ สามารถแสดงเป็นผลิตภัณฑ์ของ การหมุนของ Givens	คนอื่น ๆ กระดาษ
การลดช่องว่างระหว่างการปรับตัวระดับต่ำและการปรับมุม Shen Yuan, Haotian Liu, Hongteng Xu	เมทริกซ์การหมุน $ mathbf {r} $ สามารถแสดงเป็นผลิตภัณฑ์ของ การสะท้อนกลับของเจ้าของบ้าน $ h = i -2uu^t $	คนอื่น ๆ กระดาษ

การวิเคราะห์เชิงทฤษฎีของ Lora

ชื่อเรื่องและผู้แต่ง	tl; dr	ลิงค์
ความไม่สมดุลในอะแดปเตอร์ระดับต่ำของโมเดลรากฐาน Jiacheng Zhu, Kristjan Greenewald, Kimia Nadjahi, Haitz Sáez de Ocáriz Borde, Rickard Brüel Gabrielsson, Leshem Choshen, Marzyeh Ghassemi, Mikhail Yurochkin, Justin Solomon	การปรับแต่ง B นั้นมีผลกระทบมากกว่าการปรับค่า	คนอื่น ๆ กระดาษ