awesome LoRA

Низкое разложение

Название и авторы	TL; DR	Ссылки
Лора: адаптация с низким уровнем моделей крупных языков Эдвард Дж. Ху, Йелонг Шен, Филипп Уоллис, Зейуан Аллен-зю, Юаньжи Ли, Шин Ван, Лу Ван, Вейху Чен	$ h = w_0x + bax $ $ B in mathbb {r}^{d times r} $ $ A in mathbb {r}^{r times d} $ $ r ll d $	GitHub Бумага
Дора: сбоя в весах с низким уровнем ранга Ши-Ян Лю, Чиен-Йи Ванг, Хонгсу Инь, Павло Мольчанов, Ю-Чианг Фрэнк Ван, Кван-Тин Ченг, Мин-Хен Чен	Дора разлагает предварительно обученный вес на два компонента, величина и направление, а Лора адаптирует направление	GitHub Бумага
VERA: адаптация случайной матрицы на основе векторов Dawid J. Kopiczko, Tijmen Blankevoort, Yuki M. Asano	Случайная проекция Vera Levereges для дальнейшего уменьшения обучения параметров	GitHub Бумага
Adalora: адаптивное распределение бюджета для эффективной настройки параметров Цинру Чжан, Миншуо Чен, Александр Бухарин, Никос Карампатцценакис, Пенгчэн Х. Х., Ю Ченг, Вайуху Чен, Туо Чжао	$ h = w_0x + u sigma v^tx $ Обрезать единственные значения неважных обновлений	GitHub Бумага
Смесь-предыдующие пространства в адаптации с низким уровнем ранга Тайцян Ву, Цзиао Ван, Чжэ Чжао, Нгай Вонг	$ h = w_0x + bsax $ $ B in mathbb {r}^{d times r} $ $ A in mathbb {r}^{r times d} $ $ S in mathbb {r}^{r times r} $ $ r ll d $	GitHub Бумага

Ортогональный фин

Название и авторы	TL; DR	Ссылки
Контроль диффузии текста до изображения ортогональным искусством Zeju Qiu, Weiyang Liu, Haiwen Feng, Yuxuan Xue, Yao Feng, Zhen Liu, Dan Zhang, Adrian Weller, Bernhard Schölkopf	$ h = mathbf {r} w_0x $ $ mathbf {r} mathbf {r}^⊤ = mathbf {i} $ $ R = (i+q) (i - q)^{ - 1} $ где $ Q $ Симметричная матрица перекосина $ Q = −q^⊤ $	GitHub Бумага
Параметр-эффективная ортогональная производительность с помощью факторизации бабочки Weiyang Liu, Zeju Qiu, Yao Feng, Yuliang Xiu, Yuxuan Xue, Longhui Yu, Haiwen Feng, Zhen Liu, Juyeon Heo, Songyou Peng, Yandong Wen, Michael J. Black, Adrian Weller, Bernhard Schölkopf	Эффективная параметризация $ mathbf {r} $ Вдохновленный алгоритмом БПК	GitHub Бумага
Параметр Эффективная квазиортогональная тонкая настройка через вращение Givens Синью М.А., Сюй Чу, Зиганг Ян, Ян Лин, Синь Гао, Джунфенг Чжао	Матрица вращения $ mathbf {r} $ может быть представлен как продукт ротации givens	GitHub Бумага
Соединение разрыва между низкой и ортогональной адаптацией с помощью адаптации домохозяйств для размышлений. Shen Yuan, Haotian Liu, Hongteng Xu	Матрица вращения $ mathbf {r} $ может быть представлен как продукт размышлений домохозяйств $ H = i -2uu^t $	GitHub Бумага

Теоретический анализ Лоры

Название и авторы	TL; DR	Ссылки
Асимметрия в низкодовольных адаптерах моделей фундамента Jiacheng Zhu, Kristjan Greenewald, Kimia Nadjahi, Haitz Sáez de Ocáriz Borde, Рикард Брюль Габриэльссон, Лешем Чошен, Марни Гассеми, Михаил Юрочкин, Джастин Соломон	Настройка B более эффективна, чем настройка	GitHub Бумага