Содержимое
- Название репозитория
- Название проекта
- Краткое описание проекта
- Цели проекта
- Имя набора данных
- Описание набора данных
- Цель проекта с использованием этого набора данных
- Размер набора данных
- Алгоритмы, которые используются как часть нашего исследования
- Требования к проекту
- Использование проекта
- Какую архитектуру чат -ботов следует использовать пользователи
- Авторы
Название репозитория
SmartChat-Conversational-chatbot
Название проекта
SmartChat: контекстный разговорный агент
Краткое описание проекта
Разработайте чат -бот, который может эффективно адаптироваться к контексту и темам сдвига в разговоре, используя набор данных для ответов на вопросы Стэнфорда для предоставления информированных и актуальных ответов, и тем самым увеличивая удовлетворенность и вовлечение пользователей.
Цели проекта
Создайте удобный интерфейс веб-сайта или приложения, который позволяет пользователям вести естественные и последовательные беседы с чат-ботом, с высоким уровнем удовлетворения.
Имя набора данных
Набор данных, используемый в этом проекте, представляет собой набор данных для ответов на вопрос Стэнфорда .
Источник данных: Kaggle
Тип набора данных: текст
Описание набора данных
Стэнфордский набор данных для ответа на вопросы (Squad) - это набор данных по пониманию прочитанного, состоящий из вопросов, заданных толщинами на наборе статей Википедии. Ответ на каждый вопрос - это сегмент текста или пролета, из соответствующего отрывка для чтения. На более чем 500 статьях насчитывается 100 000+ пар вопросов-ответов. Более подробную информацию можно найти по адресу: https://rajpurkar.github.io/squad-explorer/
Цель проекта с использованием этого набора данных
- Целью проекта является разработка чат-бота, который может провести многообразные разговоры, адаптироваться к контексту и обрабатывать различные темы.
Размер набора данных:
- Набор данных имеет 2 файла JSON. Один для обучения, а другой - для тестирования
- dev-v1.1.json-4,9 МБ
- Train-V1.1.json-30,3 МБ
Алгоритмы, которые используются как часть нашего исследования
- 2 различные архитектуры используются:
- GPT2-Medium Architecture с использованием Lora и Peft
- Берт (Bert-базовый
Требования к проекту
- Python3
- наборы данных
- факел
- Пефт
- Трансформеры
- оценивать
- Safetensors
- Numpy
- Панды
- matplotlib
- Scikit-learn
- морской
- nltk
- Руж-оценка
- Руж
- градио
- TQDM
Использование проекта
- Предварительная обработка набора набора данных GOTO и убедитесь, что у вас есть файлы
train-v1.1.json и dev-v1.1.json .- Если у вас их нет, вы можете скачать их здесь и здесь
- GOTO DEST DEST DATASET PREPROCESSING FILE и запустите все ячейки.
- Чтобы выполнить и просмотреть результаты подхода BERT (BERT-BASE-USADES), пожалуйста, пройдите инструкции, представленные в файле Squad_chatbot_USING_BERT-BASE-UNCASED_README.MD.
- Чтобы выполнить и просмотреть результаты подхода GPT (GPT2-Medium с использованием LORA и PEFT), пожалуйста, пройдите инструкции, представленные в файле Squad_chatbot_USING_GPT2-MEDIUM_README.MD.
Какую архитектуру чат -ботов следует использовать пользователи
- На самом деле, оба чат -бота работают хорошо.
- Squad_using_gpt2-medium генерирует ответы, но в большинстве случаев у него проблемы.
- Для получения дополнительной информации о наблюдениях и технических деталях обратитесь к файлам обучения и проверки.
- Squad_using_bert-base-yearsed работает очень хорошо, как и ожидалось.
- Окончательный вывод: пользователи могут использовать любой чат -бот. Но для совершенного поколения ответов используйте Squad_using_bert-Base-Undersed.
Авторы
