faq llm
1.0.0
Этот репозиторий содержит код и ресурсы для создания чат-бота электронной коммерции с использованием эффективной настройки параметров с техникой LORA. Проект направлен на разработку чат-бота для сайта электронной коммерции путем использования больших языковых моделей (LLMS) и принятия подхода с тонкой настройкой с использованием модели Falcon-7B. Тонкая настройка выполняется с помощью эффективной настройки параметров (PEFT) и техники LORA (низкодоходной адаптации) для повышения производительности модели.
В быстро развивающемся мире электронной коммерции эффективно обрабатывать запросы клиентов имеет решающее значение. Этот проект представляет решение чат -бота, использующее расширенные языковые модели для автоматизации ответов на часто задаваемые вопросы. Тонко настроенная модель, Falcon-7B, обучается на пользовательском наборе данных, извлеченном из Kaggle, обращаясь к запросам общих пользователей в домене электронной коммерции.
Проект основан на предварительно обученных моделях, включая модели GPT Openai и модели Meta Llama. Он также исследует существующие чат -боты, такие как IBM Watson Assistant и ADA Healthcare Chatbot. Обсуждается сравнение между тряпкой (полученное образование в поисках) и тонкие модели.
Набор данных, полученный из Kaggle, состоит из 79 образцов с вопросами и соответствующими ответами. Сплит включает в себя 67 образцов для обучения (85%) и 12 образцов для тестирования (15%).
Ссылка на набор данных на Kaggle
Методология включает в себя использование модели Falcon-7B, тонкую настройку с техникой PEFT и LORA, а также использование ключевых библиотек, таких как трансформаторы и PEFT, обнимая лицо. Процесс включает в себя предварительную обработку набора данных, конфигурацию адаптеров LORA и обучение модели.
Модель демонстрирует снижение значений потерь в эпохах, что указывает на позитивные тенденции обучения. Оценка BLEU, используемая для оценки, демонстрирует мастерство модели при генерации ответов, соответствующих ожидаемым результатам.
Проект способствует улучшению поддержки клиентов в электронной коммерции с помощью расширенных языковых моделей. Хотя достигнутые результаты являются многообещающими, рекомендуются дальнейшие эксперименты с более крупными наборами данных и непрерывной уточнением модели.
Благодарности распространяются на разработчиков модели Falcon-7B, сообщества Hugbing Face, Kaggle для размещения набора данных и преподавателей в университете Нью-Хейвена.
Для локального использования было разработано приложение Streamlit, требующее графического процессора с не менее 16 гигабайтами видео оперативной памяти (VRAM) для оптимальной производительности. приложение в этом репозитории. Оформление в режиме Streamlit-App Dir
Не стесняйтесь исследовать, экспериментировать и вносить свой вклад в дальнейшие улучшения.
