awesome LoRA

التحلل منخفض الرتبة

العنوان والمؤلفين	TL ؛ د	الروابط
لورا: التكيف منخفض الرتبة لنماذج اللغة الكبيرة Edward J. Hu ، Yelong Shen ، Phillip Wallis ، Zeyuan Allen-zhu ، Yuanzhi Li ، Shean Wang ، Lu Wang ، Weizhu Chen	$ h = w_0x + bax $ $ b in mathbb {r}^{d times r} $ $ a in mathbb {r}^{r times d} $ $ r ll d $	جيثب ورق
درة: التكيف المنخفض الرتبة المتنافس على الوزن Shih-Yang Liu ، Chien-Yi Wang ، Hongxu Yin ، Pavlo Molchanov ، Yu-Chiang Frank Wang ، Kwang-Ting Cheng ، Min-Hung Chen	تحلل درة الوزن الذي تم تدريبه مسبقًا إلى مكونين وحجم واتجاهه ، وتكييف Lora.	جيثب ورق
فيرا: تكيف المصفوفة العشوائية المستندة إلى المتجه Dawid J. Kopiczko ، Tijmen Blankevoort ، Yuki M. Asano	Vera Levereges الإسقاط العشوائي لزيادة تقليل المعلمات القابلة للتدريب	جيثب ورق
Adalora: تخصيص الميزانية التكيفية للضغط على المعلمة Qingru Zhang ، Minshuo Chen ، Alexander Bukharin ، Nikos Karampatziakis ، Pengcheng He ، Yu Cheng ، Weizhu Chen ، Tuo Zhao	$ h = w_0x + u sigma v^tx $ تقليم القيم الفردية للتحديثات غير المهمة	جيثب ورق
مزيج من المساحات في التكيف منخفضة الرتبة Taiqiang Wu ، Jiahao Wang ، Zhe Zhao ، Ngai Wong	$ h = w_0x + bsax $ $ b in mathbb {r}^{d times r} $ $ a in mathbb {r}^{r times d} $ $ s in mathbb {r}^{r times r} $ $ r ll d $	جيثب ورق

التعامد المعتاد

العنوان والمؤلفين	TL ؛ د	الروابط
التحكم في نشر النص إلى صورة عن طريق التعامد Zeju Qiu ، Weiyang Liu ، Haiwen Feng ، Yuxuan Xue ، Yao Feng ، Zhen Liu ، Dan Zhang ، Adrian Weller ، Bernhard Schölkopf	$ h = mathbf {r} w_0x $ $ mathbf {r} mathbf {r}^⊤ = mathbf {i} $ $ r = (i+q) (i - q)^{ - 1} $ أين $ س $ هي مصفوفة متماثلة منحرفة $ q = −q^⊤ $	جيثب ورق
المعلمة المعلمة المعلمة التعامد عن طريق عامل الفراشة Weiyang Liu ، Zeju Qiu ، Yao Feng ، Yuliang Xiu ، Yuxuan Xue ، Longhui Yu ، Haiwen Feng ، Zhen Liu ، Juyeon Heo ، Songyou Peng ، Yandong Wen ، Michael ، Adrian Weller ، Bernhard Schölkopf	معايير فعالة من $ mathbf {r} $ مستوحاة من خوارزمية FFT	جيثب ورق
المعلمة الفعالة شبه الموروثية من خلال الدوران Givens Xinyu MA ، Xu Chu ، Zhibang Yang ، Yang Lin ، Xin Gao ، Junfeng Zhao	مصفوفة الدوران $ mathbf {r} $ يمكن تمثيلها كمنتج لدورات Givens	جيثب ورق
سد الفجوة بين التكيف المنخفض الرتبة والتعامد عبر تكيف انعكاس لأصحاب المنزل Shen Yuan ، Haotian Liu ، Hongteng Xu	مصفوفة الدوران $ mathbf {r} $ يمكن تمثيلها كمنتج لأفكار صاحب المنزل $ h = i -2uu^t $	جيثب ورق

التحليل النظري لورا

العنوان والمؤلفين	TL ؛ د	الروابط
عدم تناسق في محولات نماذج الأساس منخفضة الرتبة جيشنغ تشو ، كريستجان غريوالد ، كيميا نادجاهي ، هايتز سايز دي أوكاريز بوردي ، ريكارد برول غابرييلسون ، ليشم تشوشين ، مارزيه غاسيمي ، ميخائيل يوروشكين ، جوستين سولومون	ضبط B أكثر تأثيرًا من ضبط أ	جيثب ورق