Subspace Tuning
1.0.0
Добро пожаловать в наш репозиторий, который содержит разнообразную коллекцию методов настройки подпространства для эффективной настройки параметров (PEFT). Настройка подпространства необходима для адаптации больших предварительно обученных моделей к конкретным задачам с минимальными изменениями к исходным параметрам. Он пытается определить максимальную проекцию оптимального веса
Мы стремимся предоставить комплексный ресурс для исследователей и практиков в этой области и облегчить интеграцию в ваши проекты. Если вы здесь, чтобы найти ресурсы для своих проектов или внести свой вклад, мы надеемся, что этот репозиторий будет ценной и вдохновляющей частью вашего исследовательского путешествия.
Этот репозиторий также содержит некоторые другие проекты, над которыми мы работали, что могло бы привести вас сюда.
Чтобы использовать алгоритмы в этом хранилище, клонируйте репозиторий и установите необходимые зависимости.
Клонировать это хранилище:
git clone https://github.com/Chongjie-Si/Subspace-Tuning.git
cd Subspace-TuningСледуйте инструкциям в каждой папке.
Мы поддерживаем несколько задач, включая:
Основываясь на теории настройки подпространства, методы PEFT классифицируются по трем категориям: реконструкция, на основе расширения и на основе комбинации.
Мы реализуем различные методы в основном в Loralib/.
| Категория | Алгоритм | Код | Бумага |
|---|---|---|---|
| Реконструкция | Сэм-Парсер | Код | 2024 AAAI |
| IA3 | Код | 2022 Neurips | |
| SSB | Код | 2024 Арксив | |
| Сбл | Код | 2024 Арксив | |
| BitFit | N/a | 2022 ACL | |
| Префикс-настройка | Код | 2021 ACL | |
| Быстрое настройка | Код | 2021 Emnlp | |
| P-подключение | Код | 2022 ACL | |
| Писатель | Код | 2024 Арксив | |
| Милора | Код | 2024 Арксив | |
| Расширение | Лора | Код | 2022 ICLR |
| Адалора | Код | 2023 ICLR | |
| Флора | Код | 2024 Арксив | |
| Мослора | Код | 2024 Арксив | |
| Трилора | Код | 2024 Арксив | |
| Адаптер (Хоулсби) | N/a | 2019 ICML | |
| Адаптер (Pfeiffer) | N/a | 2021 ACL | |
| Параллельный адаптер | Код | 2022 ICLR | |
| Комбинация | Дора | Код | 2024 ICML |
| Svdiff | Код | 2023 ICCV | |
| Спектральный адаптер | Код | 2024 Арксив | |
| Лора-Дэш | Код | 2024 Арксив | |
| Больше алгоритмов и обновлений постоянно добавляются ... | N/a | N/a |
Мы также проверили производительность некоторых алгоритмов на задачах NLU и CR.
Мы приветствуем вклад в этот репозиторий! Если вы исправляете ошибки, добавляете новые функции или улучшаете документацию, ваша помощь ценится. Пожалуйста, следуйте рекомендациям, чтобы обеспечить плавный процесс вклада.
Спасибо за ваш интерес к нашему репозиторию кода PEFT. Мы стремимся сделать это ценным ресурсом для ваших проектов и исследований.
Наша цель - способствовать совместной среде, в которой вы и наши исследователи можете обмениваться идеями и сотрудничать. Помимо обсуждения вопросов, связанных с кодом, мы призываем вас поделиться своими взглядами на любую методологию PEFT и решать любые потенциальные проблемы, с которыми вы сталкиваетесь. Мы приветствуем дискуссии, которые могут вызвать новые идеи и инновации.
Кроме того, этот кодексовый репозиторий носит более личный характер, содержащий задачи и алгоритмы, которые я использую во время своих экспериментов. Если у вас есть какие -либо алгоритмы, которые вы хотели бы реализовать или хотите добавить больше сценариев задачи, пожалуйста, не стесняйтесь отправлять мне электронное письмо. Вы также можете посетить мою личную домашнюю страницу для получения более подробной информации.
Если у вас есть какие -либо вопросы, предложения или отзывы, пожалуйста, свяжитесь с нами по адресу [email protected].
Если вы найдете этот репозиторий полезным, подумайте о том, чтобы дать ему звезду и сослаться на свою работу:
@article { si2024see ,
title = { See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition } ,
author = { Si, Chongjie and Yang, Xiaokang and Shen, Wei } ,
journal = { arXiv preprint arXiv:2407.05417 } ,
year = { 2024 }
}Этот репозиторий также содержит код для других наших проектов. Если вы найдете эти методы полезными, пожалуйста, рассмотрите возможность предоставить звезду и ссылаться на них в своей работе.
@article { si2024flora ,
title = { FLoRA: Low-Rank Core Space for N-dimension } ,
author = { Si, Chongjie* and Wang, Xuehui* and Yang, Xue and Xu, Zhengqin and Li, Qingyun and Dai, Jifeng and Qiao, Yu and Yang, Xiaokang and Shen, Wei } ,
journal = { arXiv preprint arXiv:2405.14739 } ,
year = { 2024 }
} @article { si2024unleashing ,
title = { Unleashing the Power of Task-Specific Directions in Parameter Efficient Fine-tuning } ,
author = { Si, Chongjie* and Shi, Zhiyi* and Zhang, Shifan and Yang, Xiaokang and Pfister, Hanspeter and Shen, Wei } ,
journal = { arXiv preprint arXiv:2409.01035 } ,
year = { 2024 }
}Этот репозиторий лицензирован по лицензии Apache 2.0. Смотрите файл лицензии для получения более подробной информации.
