Vector Search with FAISS

Búsqueda vectorial utilizando incrustaciones, FAISS y cuantificación de productos

Descripción general

Este proyecto implementa un sistema de búsqueda de similitud eficiente para el contenido de conferencias utilizando incrustaciones, FAISS y cuantificación de productos con implementaciones de índices personalizados y KMeans. Le permite encontrar conferencias similares basadas en contenido textual, lo que permite una recuperación rápida y recomendación de conferencias.

Características

• Preprocesamiento de datos : Datos de conferencia y consulta de carga y preprocesamiento (generados por ChatGPT).
• Incrustos : Calcule y normalice los incrustaciones utilizando un modelo especificado.
• Indexación FAISS : construya y evalúa un índice FAISS para una búsqueda eficiente de similitud.
• Evaluación del rendimiento : Calcule el retiro y las consultas por segundo (QPS) métricas.
• Cuantización : Implementar cuantificación de productos (PQ) con un índice personalizado para reducir los requisitos de almacenamiento.
• Visualización : métricas de rendimiento de la trama para el análisis.

Tabla de contenido

• Instalación
• Preparación de datos
• Configuración
• Uso
• Dependencias
• Licencia

Instalación

1. Clonar el repositorio

   git clone https://github.com/bariscamli/Vector-Search-with-FAISS.git
   cd Vector-Search-with-FAISS

2. Crear un entorno virtual (opcional pero recomendado)

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

3. Crear un entorno virtual (opcional pero recomendado)

   pip install -r requirements.txt

Preparación de datos

• Datos de conferencias: coloque los textos de su conferencia en un archivo especificado por LECTURE_FILE en config.py. Cada línea debe contener una conferencia.

• Datos de consulta: Coloque sus textos de consulta en un archivo especificado por QUERY_FILE en config.py. Cada línea debe contener una consulta. Formato de ejemplo para Lectures.txt:

   Introduction to Machine Learning
  Advanced Topics in Deep Learning
  Statistical Methods in Data Science
  ...
  

  Formato de ejemplo para consultas.txt:

   Basics of Neural Networks
  Regression Analysis Techniques
  Clustering Algorithms Overview
  ...
  

Configuración

Todas las configuraciones se administran a través del archivo config.py. Los parámetros clave incluyen:

 File Paths
- LECTURE_FILE: Path to the lecture data file.
- QUERY_FILE: Path to the query data file.
Embedding Model
- EMBEDDING_MODEL_NAME: Name or path of the embedding model to use.
- BATCH_SIZE: Batch size for computing embeddings.
FAISS Parameters
- FAISS_EFSEARCH_VALUES: List of efSearch values for performance evaluation.
Quantization Parameters
- PQ_M: Number of sub-vector quantizers.
- PQ_NBITS: Number of bits per sub-vector.
- KMEANS_MAX_ITER: Maximum iterations for k-means during PQ training.

Uso

Ejecute el script principal para ejecutar la tubería completa:

python main.py

¿Qué sucede cuando corres Main.py

1. Carga de datos y preprocesamiento

   • Las conferencias y consultas se cargan desde los archivos especificados.
   • Los datos de texto están preprocesados ​​(por ejemplo, tokenización, limpieza).

2. Incrustación de computación

   • Un modelo de incrustación se carga según EMBEDDING_MODEL_NAME .
   • Los incrustaciones para conferencias y consultas se calculan y normalizan.

3. Cálculo de línea de base

   • Se calcula una matriz de similitud basal utilizando productos DOT.
   • La línea de base se utiliza para la comparación de rendimiento.

4. Construcción y evaluación del índice FAISS

   • Se construye un índice FAISS para los incrustaciones de conferencias.
   • El índice se evalúa sobre diferentes valores efSearch .
   • Se calculan las métricas de rendimiento (recuperación@1 y QPS).

5. Visualización de rendimiento

   • Se genera una parcela que muestra la compensación entre Retiro y QPS.
   • La gráfica se muestra usando matplotlib.

6. Cuantificación

   • Se crea un índice PQ personalizado ( CustomIndexPQ ).
   • El índice está entrenado y se le agregan conferencias.

7. Búsqueda de ejemplo

   • Se realiza una búsqueda de ejemplo utilizando el índice PQ.
   • Los resultados se registran, que muestran conferencias similares a una conferencia dada.

Dependencias

• Python 3.7 o superior
• Paquetes de Python requeridos (instalados a través de requisitos.txt):
  • numpy
  • matplotlib
  • faiss (instalar a través de pip install faiss-cpu o faiss-gpu si tiene una GPU)
  • logging
  • Incrustar bibliotecas de modelos (por ejemplo, transformers si se usa modelos de cara de abrazo)

Licencia

Este proyecto tiene licencia bajo la licencia MIT. Ver la licencia

archivo para más detalles.