bert faiss qa system

使用BERT和FAISS矢量数据库的问答系统

---

目录

• 使用BERT和FAISS矢量数据库的问答系统
  • 目录
  • 概述
  • 特征
  • 安装
    • 要求
    • 设置
  • 用法
    • 简化Web应用程序接口
  • 它如何工作
  • 演示
    • 提取问答
    • 封闭的生成问答
  • 致谢

---

概述

该项目是使用Distilbert进行文本表示和FAISS（Facebook AI相似性搜索）实施的问题和答案系统，以在矢量数据库中进行有效的相似性搜索。该系统旨在通过大量文档搜索来为用户查询提供准确且相关的答案。

特征

• 基于Distilbert的文本表示：利用Distilbert模型将问题和文档转换为密集的向量表示。

• FAISS矢量数据库：存储文档的向量表示，以进行快速相似性搜索。

• 有效的检索：通过在FAISS矢量数据库中执行有效的相似性搜索来找到给定问题的最相关文档。

---

安装

要求

• Python 3.x
• Pytorch
• 变压器
• faiss
• 简化（用于基于Web的接口）

设置

1. 克隆存储库：

git clone https://github.com/VuBacktracking/bert-faiss-qa-sytem.git

2. 克隆存储库：

pip install -r requirements.txt

3. 训练并下载Distilbert模型：

python3 trainer.py

注意：您可以在链接中检查我的模型：https：//huggingface.co/vubacktracking/distilbert-base-uncased-finetuned-squad2

4. 构建FAISS矢量数据库：

python3 faiss_index.py

---

用法

简化Web应用程序接口

streamlit run app.py

---

打开您的Web浏览器并导航到http://localhost:8501/用于使用基于Web的Q＆A系统。

它如何工作

1. 伯特嵌入：

   • 使用Distilbert模型将预处理的文本转换为向量嵌入。

2. faiss索引：

   • 文档的嵌入式嵌入在FAISS矢量数据库中。

3. 查询处理：

   • 当用户输入一个问题时，问题会转换为大杂货店的嵌入。
   • Faiss用于找到与嵌入问题的最相似的嵌入（即最相关的文档）。

4. 回答提取：

   • 对相关文档进行了排名，最相关的答案段落被提取并呈现给用户。

---

演示

提取问答

封闭的生成问答

---

致谢

• 拥抱面部变压器
• Facebook AI相似性搜索（FAISS）