Title Generator with LLM PEFT

Генератор заголовков с LLM & PEFT (LORA)

[Обновление]: мелко настроенный Llama2 с Qlora будет добавлен в ближайшее время!

Этот проект направлен на создание названия из данного реферата для академических статей. Модели были точно настроены с PEFT с использованием набора данных ARXIV. Две разные модели были настроены с Lora (Hu et al., 2021). Только статьи в категории информатики были выбраны в наборе данных ARXIV . Это число также было уменьшено из -за пределов памяти и времени. Модели с тонкой настройкой доступны через пространства для Huggingface:

• Объявление пробелов Барт
• Пространства объятий T5

Проект включает в себя:

• Метод адаптации с низким рангом (LORA)
• Параметр эффективная тонкая настройка (PEFT)
• Тренинги модели Huggingface (T5-база, Bart-Base)
• Метрика оценки Rouge Score
• Оценка с одним выстрелом, с нулевым выстрелом и добавление инструкции
• Модель слияния и загрузки на HuggingFace
• Отслеживание журналов, использование памяти, прошедшее время для предварительной обработки, обучения, процессов оценки, визуализации обучения/потери тестирования
• EDA и сценарий для фильтрации набора данных ARXIV только в статьях по информатике (CS).
• Фильтрация и преобразование набора данных .json в формат .csv

Внешние библиотеки и пакеты:

• Факел
• Объятие
• Трансформеры
• Битсандбит
• Пефт
• Ускорить
• Оценить (Rouge Score)
• Лоралиб
• TRL
• Панды, Numpy, Matplotlib, TQDM, время

Параметры и ограничения обучения

• 6000 обучающих образцов, 1000 выборок проверки, 250 испытательных образцов отфильтрованы из набора данных.
• (Количество документов, связанных с CS, составляет 299131.
• Модели обучаются для 6 эпох.
• LORA Внимание R=8 , alpha=64 , dropout=0.01 , learning rate=2e-4 , paged_adamW_32bit optimizer

Результаты

Тонко настроенный Барт

• Кэши с памятью: 11,2 ГБ
• Время обучения: 11423,89 с

Тонко настроенный T5

• Кэши с памятью: 13,7 ГБ
• Время обучения: 9793,74 с

Тонко настроенные BART выходы

	Оригинальный заголовок	Сгенерированный заголовок
1	Квантовые схемы для сильно коррелированных квантовых систем	Квантовое моделирование сильно коррелированных многоцветных гамильтоновцев
2	Teko: богатые текстами нейронные сети графиков с внешними знаниями	Графические нейронные сети, богатые текстами с внешними знаниями
3	Груз: эффективное бесплатное сжатое хранение геномной информации	Груз: сжатое архивирование для геномики
4	Энергоэффективное управление мощностью в общении MMWAVE Train-Ground	Энергетическая эффективность общения MMWAVE Train-Ground для высокоскоростных поездов
5	Опрос о предвзятости в исследованиях машинного обучения	Понимание источников и последствий предвзятости в машинном обучении
6	SA-Unet: пространственное внимание U-Net для сегментации сосудов сетчатки	Пространственное внимание u-net: пространственное внимание при заболеваниях, связанных с глазами,
7	Новый эвристический алгоритм для быстрой K-сегментации	Новый эвристический алгоритм для K-сегментации
8	Прогресс и проблемы IoT в здравоохранении: короткий обзор	Умное здравоохранение и здравоохранение: сравнительный анализ умного здравоохранения и безопасности
9	FVC: новая структура для глубокого сжатия видео в пространстве функций	Сжатие видео-пространства для кодирования видео на основе обучения

Скриншоты

• Барт обучение/потеря тестирования (6 эпох)

• Т5 обучение/потеря тестирования (6 эпох)