bert faiss qa system

Sistema de preguntas y respuestas utilizando la base de datos de Bert y Faiss Vector

---

Tabla de contenido

• Sistema de preguntas y respuestas utilizando la base de datos de Bert y Faiss Vector
  • Tabla de contenido
  • Descripción general
  • Características
  • Instalación
    • Requisitos
    • Configuración
  • Uso
    • Interfaz de aplicaciones web de línea de transmisión
  • Cómo funciona
  • Manifestación
    • Preguntas y respuestas extractivas
    • Preguntas y respuestas generativas cerradas
  • Expresiones de gratitud

---

Descripción general

Este proyecto es un sistema de preguntas y respuestas implementado utilizando Distilbert para la representación de texto y FAISS (búsqueda de similitud de IA de Facebook) para una búsqueda de similitud eficiente en una base de datos vectorial. El sistema está diseñado para proporcionar respuestas precisas y relevantes a las consultas de los usuarios buscando a través de una gran colección de documentos.

Características

• Representación de texto basada en Distilbert : utiliza el modelo Distilbert para convertir preguntas y documentos en representaciones vectoriales densas.

• Base de datos Vector Faiss : almacena las representaciones vectoriales de los documentos para la búsqueda de similitud rápida.

• Recuperación eficiente : encuentra los documentos más relevantes a una pregunta dada realizando búsquedas de similitud eficientes en la base de datos FAISS Vector.

---

Instalación

Requisitos

• Python 3.x
• Pytorch
• Transformadores
• Faiss
• Streamlit (para la interfaz basada en la web)

Configuración

1. Clon el repositorio:

git clone https://github.com/VuBacktracking/bert-faiss-qa-sytem.git

2. Clon el repositorio:

pip install -r requirements.txt

3. Entrena y descarga el modelo Distilbert:

python3 trainer.py

Nota : Puede consultar mi modelo en el enlace: https://huggingface.co/vubacktracking/distilbert-base-scase-finetuned-squad2

4. Construya la base de datos FAISS Vector:

python3 faiss_index.py

---

Uso

Interfaz de aplicaciones web de línea de transmisión

streamlit run app.py

---

Abra su navegador web y navegue a http://localhost:8501/ para usar el sistema de preguntas y respuestas basado en la web.

Cómo funciona

1. Bert incrustaciones :

   • El texto preprocesado se convierte en embedidas vectoriales utilizando el modelo Distilbert.

2. Indexación de FAISS :

   • Las incrustaciones de Distilbert de los documentos se indexan en la base de datos FAISS Vector.

3. Procesamiento de consultas :

   • Cuando un usuario ingresa una pregunta, la pregunta se convierte en una incrustación de Distilbert.
   • FAISS se usa para encontrar los incrustaciones más similares (es decir, los documentos más relevantes) a la incrustación de preguntas.

4. Extracción de respuesta :

   • Los documentos relevantes están clasificados y los pasajes de respuesta más relevantes se extraen y se presentan al usuario.

---

Manifestación

Preguntas y respuestas extractivas

Preguntas y respuestas generativas cerradas

---

Expresiones de gratitud

• Abrazando los transformadores de la cara
• Facebook AI Simility Search (FAISS)