bert faiss qa system

Система вопросов и ответов с использованием базы данных векторов BERT и FAISS

---

Оглавление

• Система вопросов и ответов с использованием базы данных векторов BERT и FAISS
  • Оглавление
  • Обзор
  • Функции
  • Установка
    • Требования
    • Настраивать
  • Использование
    • Интерфейс веб -приложения Streamlit
  • Как это работает
  • Демо
    • Добывающие вопросы и ответы
    • Закрытые генеративные вопросы и ответы
  • Благодарности

---

Обзор

Этот проект представляет собой систему вопросов и ответов, реализованной с использованием Distilbert для представления текста и FAISS (Facebook AI Searnity Search) для эффективного поиска сходства в векторной базе данных. Система предназначена для предоставления точных и соответствующих ответов на запросы пользователей путем поиска в большой коллекции документов.

Функции

• Основанный на дистильберте

• Векторная база данных FAISS : хранит векторные представления документов для быстрого поиска сходства.

• Эффективный поиск : находит наиболее важные документы к данному вопросу, выполняя эффективные поиски сходства в базе данных вектора FAISS.

---

Установка

Требования

• Python 3.x
• Пирог
• Трансформеры
• Файсс
• Streamlit (для веб-интерфейса)

Настраивать

1. Клонировать репозиторий:

git clone https://github.com/VuBacktracking/bert-faiss-qa-sytem.git

2. Клонировать репозиторий:

pip install -r requirements.txt

3. Тренируйте и загрузите модель Distilbert:

python3 trainer.py

Примечание : вы можете проверить мою модель в ссылке: https://huggingface.co/vubacktracking/distilbert-base-Undated-finetuned-cquad2

4. Создайте векторную базу данных FAISS:

python3 faiss_index.py

---

Использование

Интерфейс веб -приложения Streamlit

streamlit run app.py

---

Откройте свой веб-браузер и перейдите по адресу http://localhost:8501/ для использования системы Q & A на веб-Q & A.

Как это работает

1. Берт встраивается :

   • Предварительно обработанный текст преобразуется в векторные встроения с использованием модели дистильберта.

2. Индексация FAISS :

   • Внедрения Дистилберта документов индексируются в векторной базе данных FAISS.

3. Обработка запросов :

   • Когда пользователь вводит вопрос, вопрос преобразуется в встраивание дистильберта.
   • FAISS используется для поиска наиболее похожих погадков (то есть наиболее важных документов) для встраивания вопроса.

4. Извлечение ответа :

   • Соответствующие документы ранжированы, и наиболее соответствующие отрывки ответа извлечены и представлены пользователю.

---

Демо

Добывающие вопросы и ответы

Закрытые генеративные вопросы и ответы

---

Благодарности

• Обнимая трансформеры лица
• Поиск сходства с ИИ Facebook (FAISS)