LoraCSE

? Loracse: контрастное изучение предложений встраиваемого с использованием Lora

Окончательный проект EECS 487: Введение в обработку естественного языка (UMICH)

Автор: Yilin Jia, Sikai Li, Yuqi Mai

Дата: 18 апреля 2023 г.

Инструкции

Этот проект включает в себя оценку эффективности модели Loracse с помощью ряда экспериментов. Вот как получить доступ и запустить код:

• Откройте ноутбук loracse.ipynb, чтобы просмотреть и запустить код для всех экспериментов.
• Следуйте инструкциям, представленным в записной книжке, чтобы запустить эксперименты, используя графический процессор и просмотреть результаты.
• После запуска экспериментов обратитесь к сопровождающему файлу loracse.pdf для подробного анализа результатов.

Анализ, предоставленный в loracse.pdf, предлагает представление о производительности модели Loracse и ее способности обрабатывать различные типы данных. Используйте эту информацию, чтобы повысить точность модели для вашего конкретного варианта использования.

Производительность

Модель	Ав. Стр
SUP-LORACSE-BERT-BASE (размер партии 512)	81.55
SUP-LORACSE-ROBERTA-BASE (размер партии 512)	82,49
Sup-Loracse-Roberta-Large (размер партии 375)	84,69

Требования

Чтобы запустить эксперимент, который включает в себя обработку больших объемов данных с размером партии 512, ваш графический процессор должен иметь не менее 40 ГБ оперативной памяти. Вот совместимые графические процессоры:

• V100
• A6000
• A40
• RTX3090 (четыре необходимо)

В этом эксперименте мы используем четыре A40.

Благодарности

Мы хотели бы поблагодарить следующие проекты за их вклад в нашу работу:

• SIMCSE: Наш код многому научился из реализации и идей, представленных в этом репозитории.
• PEFT: Мы использовали часть функциональности, предоставленной этой библиотекой для повышения производительности нашего кода.

Мы благодарны участникам этих проектов за то, что они обменивались своими знаниями и опытом с сообществом.

Будущая работа

• Учитесь и используйте Adalora, чтобы настроить.
• Ускорить обучение и оценку.
• Попробуйте настроить debertv3.
• Загрузите модель в HuggingFace.