bert faiss qa system

使用BERT和FAISS矢量數據庫的問答系統

---

目錄

• 使用BERT和FAISS矢量數據庫的問答系統
  • 目錄
  • 概述
  • 特徵
  • 安裝
    • 要求
    • 設定
  • 用法
    • 簡化Web應用程序接口
  • 它如何工作
  • 演示
    • 提取問答
    • 封閉的生成問答
  • 致謝

---

概述

該項目是使用Distilbert進行文本表示和FAISS（Facebook AI相似性搜索）實施的問題和答案系統，以在矢量數據庫中進行有效的相似性搜索。該系統旨在通過大量文檔搜索來為用戶查詢提供準確且相關的答案。

特徵

• 基於Distilbert的文本表示：利用Distilbert模型將問題和文檔轉換為密集的向量表示。

• FAISS矢量數據庫：存儲文檔的向量表示，以進行快速相似性搜索。

• 有效的檢索：通過在FAISS矢量數據庫中執行有效的相似性搜索來找到給定問題的最相關文檔。

---

安裝

要求

• Python 3.x
• Pytorch
• 變壓器
• faiss
• 簡化（用於基於Web的接口）

設定

1. 克隆存儲庫：

git clone https://github.com/VuBacktracking/bert-faiss-qa-sytem.git

2. 克隆存儲庫：

pip install -r requirements.txt

3. 訓練並下載Distilbert模型：

python3 trainer.py

注意：您可以在鏈接中檢查我的模型：https：//huggingface.co/vubacktracking/distilbert-base-uncased-finetuned-squad2

4. 構建FAISS矢量數據庫：

python3 faiss_index.py

---

用法

簡化Web應用程序接口

streamlit run app.py

---

打開您的Web瀏覽器並導航到http://localhost:8501/用於使用基於Web的Q＆A系統。

它如何工作

1. 伯特嵌入：

   • 使用Distilbert模型將預處理的文本轉換為向量嵌入。

2. faiss索引：

   • 文檔的嵌入式嵌入在FAISS矢量數據庫中。

3. 查詢處理：

   • 當用戶輸入一個問題時，問題會轉換為大雜貨店的嵌入。
   • Faiss用於找到與嵌入問題的最相似的嵌入（即最相關的文檔）。

4. 回答提取：

   • 對相關文檔進行了排名，最相關的答案段落被提取並呈現給用戶。

---

演示

提取問答

封閉的生成問答

---

致謝

• 擁抱面部變壓器
• Facebook AI相似性搜索（FAISS）