Finetune LLAMA 2 On Your DataSet AutoTrain From Hugging Face

Тонкая настройка и вывод с моделью Llama-3.1-8b

Этот проект демонстрирует, как точно настроить модель Llama-3.1-8b, используя адаптеры Lora, применить шаблоны чата и сохранить модель для вывода. Модель обучается локальным данным, оптимизирована для эффективного обучения параметров и развернута в концентраторе обнимающего лица.

Обзор

• Модель : Llama-3.1-8b с 4-битным квантованием для эффективного использования памяти.
• Методы : тонкая настройка с использованием адаптеров LORA (адаптация с низкой ранкой), градиентные контрольно-пропускные пункты и шаблоны чата.
• Данные : пользовательский локальный файл CSV, используемый для обучения.
• Цель : тренировать и развернуть модель чатбота, способную обрабатывать пользовательские ввод в форматах, основанных на разговорах.

Функции

• Адаптеры LORA : Параметр-эффективная тонкая настройка.
• Квантование : эффективное использование памяти с 4-битной точностью.
• Шаблоны чата : структурированный разговор текут с токенизацией.
• Развертывание модели : сохранение и подталкивание моделей для обнимания концентратора лица в различных форматах квантования.

Установка

Чтобы запустить этот проект, вам нужно будет установить необходимые пакеты. Вы можете настроить это в Google Colab или в вашей местной среде:

pip install torch transformers datasets pandas unsloth trl