bert faiss qa system

Système de questions et réponses à l'aide de la base de données vectorielle Bert et Faish

---

Table des matières

• Système de questions et réponses à l'aide de la base de données vectorielle Bert et Faish
  • Table des matières
  • Aperçu
  • Caractéristiques
  • Installation
    • Exigences
    • Installation
  • Usage
    • Interface d'application Web rationalisée
  • Comment ça marche
  • Démo
    • Q&R extractive
    • Q&R génératif fermé
  • Remerciements

---

Aperçu

Ce projet est un système de questions et réponses implémenté à l'aide de Distilbert pour la représentation de texte et FAISS (recherche de similitude Facebook AI) pour une recherche de similitude efficace dans une base de données vectorielle. Le système est conçu pour fournir des réponses précises et pertinentes aux requêtes utilisateur en recherchant une grande collection de documents.

Caractéristiques

• Représentation de texte basée sur Distilbert : utilise le modèle de Distilbert pour convertir les questions et les documents en représentations vectorielles denses.

• Base de données vectorielle FAISS : stocke les représentations vectorielles des documents pour une recherche de similitude rapide.

• Récupération efficace : trouve les documents les plus pertinents à une question donnée en effectuant des recherches de similitudes efficaces dans la base de données vectorielle FAISS.

---

Installation

Exigences

• Python 3.x
• Pytorch
• Transformateurs
• Fais
• Rationalisation (pour l'interface Web)

Installation

1. Clone le référentiel:

git clone https://github.com/VuBacktracking/bert-faiss-qa-sytem.git

2. Clone le référentiel:

pip install -r requirements.txt

3. Train et télécharger le modèle Distilbert:

python3 trainer.py

Remarque : Vous pouvez vérifier mon modèle dans le lien: https://huggingface.co/vubacktracking/distilbert-base-unlecasen-finetuned-squad2

4. Construisez la base de données vectorielle FAISS:

python3 faiss_index.py

---

Usage

Interface d'application Web rationalisée

streamlit run app.py

---

Ouvrez votre navigateur Web et accédez à http://localhost:8501/ pour utiliser le système de questions / réponses basé sur le Web.

Comment ça marche

1. Bert Embeddings :

   • Le texte prétraité est converti en intégres vectoriels en utilisant le modèle Distilbert.

2. Indexation Faish :

   • Les incorporations Distilbert des documents sont indexées dans la base de données vectorielle FAISS.

3. Traitement des requêtes :

   • Lorsqu'un utilisateur entre une question, la question est convertie en une incorporation de Distilbert.
   • FAISS est utilisé pour trouver les intérêts les plus similaires (c'est-à-dire les documents les plus pertinents) à la question de l'incorporation.

4. Extraction de réponse :

   • Les documents pertinents sont classés et les passages de réponse les plus pertinents sont extraits et présentés à l'utilisateur.

---

Démo

Q&R extractive

Q&R génératif fermé

---

Remerciements

• Transformeurs de face étreintes
• Recherche de similitude Facebook AI (FAISS)