Репозиторий проекта: тонкая настройка T5 с различными методами
Обзор
Этот репозиторий содержит код и ноутбуки для точной настройки модели T5 с использованием различных методов. Основными целями этого проекта являются:
- Реализуйте и изучайте методы точной настройки, такие как мягкая подсказка, адаптер, лора и полная настройка с нуля.
- Tine-Tune T5 с вышеупомянутыми методами с использованием PEFT (быстрого инженерного настройки), Opendelta и AdapterHub.
- Проведите комплексное сравнение точности и количество параметров, обученных для каждого метода точной настройки.
Структура репозитория
- 01_full finetune.ipynb : Notebook Jupyter реализует полный метод точной настройки с нуля.
- 02_Soft Quict.ipynb : Notebook Jupyter реализует тонкую настройку с использованием Soft Rismer.
- 03_Adapter.ipynb : Notebook Jupyter реализует тонкую настройку с помощью метода адаптера.
- 04_adapterhub.ipynb : jupyter notebook fine-muning t5 с использованием adapterhub.
- 05_lora.ipynb : Notebook Jupyter реализует точную настройку с помощью метода LORA.
- 402212503_hosnaoyarhoseini_report.pdf : файл отчета, предоставляющий понимание, анализ и результаты экспериментов.
Библиотеки
- Пирог
- Пефт
- Opendelta
- Адаптерхуб
