bert faiss qa system

Q & A -System mit Bert und Faiss Vector -Datenbank

---

Inhaltsverzeichnis

• Q & A -System mit Bert und Faiss Vector -Datenbank
  • Inhaltsverzeichnis
  • Überblick
  • Merkmale
  • Installation
    • Anforderungen
    • Aufstellen
  • Verwendung
    • Strenge Web -App -Schnittstelle optimieren
  • Wie es funktioniert
  • Demo
    • OTRAKTIVE Q & A.
    • Geschlossene generative Q & A.
  • Anerkennung

---

Überblick

Dieses Projekt ist ein Frage- und Antwortsystem, das mit Distilbert für Textdarstellung und FAISS (Facebook AI -Ähnlichkeitssuche) für eine effiziente Suche nach Ähnlichkeit in einer Vektordatenbank implementiert ist. Das System soll genaue und relevante Antworten auf Benutzeranfragen geben, indem eine große Sammlung von Dokumenten gesucht wird.

Merkmale

• DEISTILBERT-BASISSE TEXTREINIZATION : Verwendet das Distilbert-Modell, um Fragen und Dokumente in dichte Vektordarstellungen umzuwandeln.

• FAISS VECTOR -Datenbank : Speichert die Vektordarstellungen der Dokumente für die schnelle Ähnlichkeitssuche.

• Effizientes Abrufen : Findet die relevantesten Dokumente für eine bestimmte Frage, indem effiziente Ähnlichkeitssuche in der FAISS -Vektor -Datenbank durchgeführt werden.

---

Installation

Anforderungen

• Python 3.x
• Pytorch
• Transformatoren
• Faiss
• Streamlit (für die webbasierte Schnittstelle)

Aufstellen

1. Klonen Sie das Repository:

git clone https://github.com/VuBacktracking/bert-faiss-qa-sytem.git

2. Klonen Sie das Repository:

pip install -r requirements.txt

3. Trainieren und laden Sie das Distilbert -Modell herunter:

python3 trainer.py

Hinweis : Sie können mein Modell im Link überprüfen: https://huggingface.co/vubacktracking/distilbert-base-uncased-finetuned-squad2

4. Erstellen Sie die Faiss Vector -Datenbank:

python3 faiss_index.py

---

Verwendung

Strenge Web -App -Schnittstelle optimieren

streamlit run app.py

---

Öffnen Sie Ihren Webbrowser und navigieren Sie zu http://localhost:8501/ um das webbasierte Q & A-System zu verwenden.

Wie es funktioniert

1. Bert -Einbettungen :

   • Der vorverarbeitete Text wird unter Verwendung des Destilbert -Modells in Vektor -Einbettungen umgewandelt.

2. Faiss -Indexierung :

   • Die Distilbert -Einbettungen der Dokumente sind in der Faiss -Vektor -Datenbank indiziert.

3. Abfrageverarbeitung :

   • Wenn ein Benutzer eine Frage eingibt, wird die Frage in eine Distilbert -Einbettung umgewandelt.
   • Faiss wird verwendet, um die ähnlichsten Einbettungen (dh die relevanten Dokumente) für die Frage -Einbettung zu finden.

4. Antwortextraktion :

   • Die relevanten Dokumente werden eingestuft, und die relevantesten Antwortpassagen werden extrahiert und dem Benutzer präsentiert.

---

Demo

OTRAKTIVE Q & A.

Geschlossene generative Q & A.

---

Anerkennung

• Umarme Gesichtstransformatoren
• Facebook AI Ähnlichkeitssuche (Faiss)