Vector Search with FAISS

Pesquisa de vetor

Visão geral

Este projeto implementa um sistema de pesquisa de similaridade eficiente para conteúdo de palestras usando incorporação, FAISS e quantização de produtos com implementações de índice personalizado e Kmeans. Ele permite encontrar palestras semelhantes com base no conteúdo textual, permitindo uma recuperação rápida e recomendação de palestras.

Características

• Pré -processamento de dados : Dados de palestra e consulta de carga e pré -processamento (gerados pelo ChatGPT).
• INCLIMENTES : Calcule e normalize incorporações usando um modelo especificado.
• Indexação do FAISS : Crie e avalie um índice FAISS para pesquisa eficiente de similaridade.
• Avaliação de desempenho : Calcule a recall e as consultas por segundo (QPS).
• Quantização : Implemente a quantização do produto (PQ) com índice personalizado para reduzir os requisitos de armazenamento.
• Visualização : plotar métricas de desempenho para análise.

Índice

• Instalação
• Preparação de dados
• Configuração
• Uso
• Dependências
• Licença

Instalação

1. Clone o repositório

   git clone https://github.com/bariscamli/Vector-Search-with-FAISS.git
   cd Vector-Search-with-FAISS

2. Crie um ambiente virtual (opcional, mas recomendado)

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

3. Crie um ambiente virtual (opcional, mas recomendado)

   pip install -r requirements.txt

Preparação de dados

• Dados da palestra: Coloque seus textos de palestra em um arquivo especificado por LECTURE_FILE em config.py. Cada linha deve conter uma palestra.

• Dados de consulta: Coloque seus textos de consulta em um arquivo especificado por QUERY_FILE em config.py. Cada linha deve conter uma consulta. Exemplo de formato para palestras.txt:

   Introduction to Machine Learning
  Advanced Topics in Deep Learning
  Statistical Methods in Data Science
  ...
  

  Exemplo de formato para consultas.txt:

   Basics of Neural Networks
  Regression Analysis Techniques
  Clustering Algorithms Overview
  ...
  

Configuração

Todas as configurações são gerenciadas através do arquivo config.py. Os principais parâmetros incluem:

 File Paths
- LECTURE_FILE: Path to the lecture data file.
- QUERY_FILE: Path to the query data file.
Embedding Model
- EMBEDDING_MODEL_NAME: Name or path of the embedding model to use.
- BATCH_SIZE: Batch size for computing embeddings.
FAISS Parameters
- FAISS_EFSEARCH_VALUES: List of efSearch values for performance evaluation.
Quantization Parameters
- PQ_M: Number of sub-vector quantizers.
- PQ_NBITS: Number of bits per sub-vector.
- KMEANS_MAX_ITER: Maximum iterations for k-means during PQ training.

Uso

Execute o script principal para executar o pipeline completo:

python main.py

O que acontece quando você é executado main.py

1. Carregamento de dados e pré -processamento

   • Palestras e consultas são carregadas a partir dos arquivos especificados.
   • Os dados de texto são pré -processados ​​(por exemplo, tokenização, limpeza).

2. Incorporação de computação

   • Um modelo de incorporação é carregado conforme EMBEDDING_MODEL_NAME .
   • As incorporações para palestras e consultas são calculadas e normalizadas.

3. Computação de linha de base

   • Uma matriz de similaridade da linha de base é calculada usando produtos DOT.
   • A linha de base é usada para comparação de desempenho.

4. FAISS Index Building and Avaluation

   • Um índice FAISS é construído para as incorporações da palestra.
   • O índice é avaliado sobre diferentes valores de pesquisa efSearch .
   • As métricas de desempenho (recall@1 e QPS) são calculadas.

5. Visualização de desempenho

   • Um gráfico é gerado mostrando o trade-off entre recall e QPS.
   • O gráfico é exibido usando o matplotlib.

6. Quantização

   • Um índice PQ personalizado ( CustomIndexPQ ) é criado.
   • O índice é treinado e as palestras são adicionadas a ele.

7. Exemplo de pesquisa

   • Um exemplo de pesquisa é executado usando o índice PQ.
   • Os resultados são registrados, mostrando palestras semelhantes a uma determinada palestra.

Dependências

• Python 3.7 ou superior
• Pacotes Python necessários (instalados via requisitos.txt):
  • numpy
  • matplotlib
  • faiss (instale via pip install faiss-cpu ou faiss-gpu se você tiver uma GPU)
  • logging
  • Incorporar bibliotecas de modelos (por exemplo, transformers se estiver usando modelos de rosto de abraço)

Licença

Este projeto está licenciado sob a licença do MIT. Veja a licença

Arquivo para obter detalhes.