bert faiss qa system

Sistema de perguntas e respostas usando o banco de dados BERT e FAISS Vector

---

Índice

• Sistema de perguntas e respostas usando o banco de dados Bert e Faiss Vector
  • Índice
  • Visão geral
  • Características
  • Instalação
    • Requisitos
    • Configurar
  • Uso
    • Interface do aplicativo da web simplit
  • Como funciona
  • Demonstração
    • Perguntas e respostas extrativas
    • Perguntas e respostas generativas fechadas
  • Agradecimentos

---

Visão geral

Este projeto é um sistema de perguntas e respostas implementado usando a Distilbert para representação de texto e o FAISS (pesquisa de similaridade da AI do Facebook) para pesquisa eficiente de similaridade em um banco de dados vetorial. O sistema foi projetado para fornecer respostas precisas e relevantes às consultas do usuário pesquisando uma grande coleção de documentos.

Características

• Representação de texto baseada em Distilbert : utiliza o modelo de destilbert para converter perguntas e documentos em representações vetoriais densas.

• Banco de dados do FAISS Vector : armazena as representações vetoriais dos documentos para pesquisa rápida de similaridade.

• Recuperação eficiente : encontra os documentos mais relevantes para uma determinada pergunta, realizando pesquisas eficientes de similaridade no banco de dados do FAISS Vector.

---

Instalação

Requisitos

• Python 3.x
• Pytorch
• Transformadores
• FAISS
• Simplit (para a interface baseada na Web)

Configurar

1. Clone o repositório:

git clone https://github.com/VuBacktracking/bert-faiss-qa-sytem.git

2. Clone o repositório:

pip install -r requirements.txt

3. Treine e faça o download do modelo Distilbert:

python3 trainer.py

Nota : Você pode verificar meu modelo no link: https://huggingface.co/vubacktracking/distilbert-base-uncased-finetuned-squad2

4. Construa o banco de dados do FAISS Vector:

python3 faiss_index.py

---

Uso

Interface do aplicativo da web simplit

streamlit run app.py

---

Abra seu navegador da web e navegue para http://localhost:8501/ Para usar o sistema de perguntas e respostas baseado na Web.

Como funciona

1. Bert incorporados :

   • O texto pré -processado é convertido em incorporações de vetor usando o modelo Distilbert.

2. Indexação FAISS :

   • As incorporações destilbert dos documentos são indexadas no banco de dados do FAISS Vector.

3. Processamento de consulta :

   • Quando um usuário insere uma pergunta, a pergunta é convertida em uma incorporação de destilbert.
   • O FAISS é usado para encontrar as incorporações mais semelhantes (ou seja, os documentos mais relevantes) à incorporação de perguntas.

4. Extração de resposta :

   • Os documentos relevantes são classificados e as passagens de resposta mais relevantes são extraídas e apresentadas ao usuário.

---

Demonstração

Perguntas e respostas extrativas

Perguntas e respostas generativas fechadas

---

Agradecimentos

• Abraçando transformadores de rosto
• Pesquisa de similaridade da AI do Facebook (FAISS)