Fine tuning an LLM using LoRA

Тонкая настраиваемая и используя лора

Этот репозиторий вдохновляется статьей «Точная настройка крупных языковых моделей (LLMS)» и содержит код для обучения модели классификации текста с использованием набора данных Stanford Sentients Treebank (SST-2) и LORA (низкокачественная адаптация крупных языковых моделей). Лора - это способ сделать языковую модель более адаптируемой и эффективной. Вместо того, чтобы снова обучать всю модель для каждой задачи, Лора замораживает предварительно обученную модель и добавляет меньшие обучаемые матрицы к каждому уровню модели. Эти матрицы помогают модели адаптироваться к различным задачам без изменения всех параметров.

Оглавление

• Установка
• Использование
• Модель архитектура
• Обучение
• Вывод
• Ссылки

Установка

Перед использованием кода в этом репозитории вам необходимо установить необходимые библиотеки. Вы можете сделать это, выполнив следующие команды:

 ! pip install datasets
! pip install transformers
! pip install peft
! pip install evaluate

Эти команды установит необходимые библиотеки Python для работы с наборами данных, трансформаторами, LORA и показателями оценки.

Использование

Вот как использовать код в этом хранилище:

1. Загрузите набор данных SST-2 :

   Код загружает набор данных SST-2, используя библиотеку datasets об объятиях. SST-2 состоит из предложений из обзоров фильмов, аннотированных с ярлыками настроения. Вы можете найти больше информации о наборе данных SST-2 здесь.

2. Определите архитектуру модели LORA :

   Код использует технику LORA, чтобы точно настроить предварительно обученную языковую модель для классификации текста. Лора эффективно адаптирует модель к задаче, используя свойство низкого ранга различий в весах. Реализацию LORA можно найти в коде.

3. Токенизировать набор данных :

   Набор данных токенизируется с использованием токенизатора модели, а специальные токены, такие как [PAD] добавляются, если они еще не существуют.

4. Обучить модель LORA :

   Код определяет обучение гиперпараметров и обучает модель, адаптированную LORA, используя предоставленный набор данных. Учебные аргументы, такие как скорость обучения, размер партии и количество эпох, могут быть скорректированы в переменной training_args .

5. Вывод с обученной моделью LORA :

   После обучения вы можете использовать обученную модель, адаптированную LORA для вывода на новые текстовые входы. Код демонстрирует, как загрузить модель и сделать прогнозы в списке примеров предложений.

Модель архитектура

Код использует модель классификации текста, основанную на предварительно обученной архитектуре модели языка. Точная настройка Lora применяется для эффективной адаптации этой предварительно обученной модели. Техника LORA использует низкую структуру различий в весах для повышения производительности адаптации.

Для получения подробной информации о технике LORA, вы можете обратиться к бумаге LORA.

Обучение

Чтобы тренировать модель, адаптированную Лора, выполните эти шаги:

1. Установите требуемые библиотеки, как упомянуто в разделе установки.

2. Определите свой набор данных обучения или используйте предоставленный набор данных SST-2.

3. Настройте модель архитектуры и гиперпараметра в коде.

4. Запустите обучающий код, и модель будет точно настроена, используя технику LORA в вашем наборе данных.

Вывод

После обучения вы можете использовать обученную модель, адаптированную LORA для вывода на новые текстовые входы. Чтобы сделать это:

1. Загрузите обученную модель, адаптированную LORA, как показано в коде.

2. Токенизируйте свой входной текст, используя токенизатор модели.

3. Передайте токенизированный вход в модель для классификации настроений.

4. Модель будет предсказать, имеет ли входной текст положительным или отрицательным чувством.

Ссылки

• Набор данных SST-2
• Lora Paper

Необушенные модели прогнозы

Обученные прогнозы модели