Vector Search with FAISS

使用嵌入，FAIS和產品量化的矢量搜索

概述

該項目使用嵌入式，faiss和產品量化的嵌入式索引和產品量化實現了有效的相似性搜索系統，並使用自定義索引和Kmeans實現。它使您可以根據文本內容找到類似的講座，從而快速檢索並推薦講座。

特徵

• 數據預處理：負載和預處理講座和查詢數據（由ChatGPT生成）。
• 嵌入：使用指定模型計算和歸一化嵌入。
• FAISS索引：構建和評估FAISS索引以進行有效的相似性搜索。
• 績效評估：計算召回和查詢每秒（QPS）指標。
• 量化：用自定義索引實施產品量化（PQ），以減少存儲要求。
• 可視化：分析的情節性能指標。

目錄

• 安裝
• 數據準備
• 配置
• 用法
• 依賴性
• 執照

安裝

1. 克隆存儲庫

   git clone https://github.com/bariscamli/Vector-Search-with-FAISS.git
   cd Vector-Search-with-FAISS

2. 創建虛擬環境（可選但建議）

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

3. 創建虛擬環境（可選但建議）

   pip install -r requirements.txt

數據準備

• 講座數據：將您的講座文本置於config.py中的LECTURE_FILE指定的文件中。每行應包含一個講座。

• 查詢數據：將查詢文本放在config.py中的QUERY_FILE指定的文件中。每行應包含一個查詢。講座的示例格式.txt：

   Introduction to Machine Learning
  Advanced Topics in Deep Learning
  Statistical Methods in Data Science
  ...
  

  查詢的示例格式.txt：

   Basics of Neural Networks
  Regression Analysis Techniques
  Clustering Algorithms Overview
  ...
  

配置

所有配置均通過config.py文件管理。關鍵參數包括：

 File Paths
- LECTURE_FILE: Path to the lecture data file.
- QUERY_FILE: Path to the query data file.
Embedding Model
- EMBEDDING_MODEL_NAME: Name or path of the embedding model to use.
- BATCH_SIZE: Batch size for computing embeddings.
FAISS Parameters
- FAISS_EFSEARCH_VALUES: List of efSearch values for performance evaluation.
Quantization Parameters
- PQ_M: Number of sub-vector quantizers.
- PQ_NBITS: Number of bits per sub-vector.
- KMEANS_MAX_ITER: Maximum iterations for k-means during PQ training.

用法

運行主腳本以執行完整管道：

python main.py

當您運行main.py時會發生什麼

1. 數據加載和預處理

   • 講座和查詢是從指定文件加載的。
   • 文本數據已預處理（例如，令牌化，清潔）。

2. 嵌入計算

   • 根據EMBEDDING_MODEL_NAME加載嵌入模型。
   • 計算和標準化講座和查詢的嵌入。

3. 基線計算

   • 使用點產品計算基線相似性矩陣。
   • 基線用於性能比較。

4. FAISS索引建設和評估

   • 為講座嵌入而建立了FAISS指數。
   • 該索引通過不同的efSearch值評估。
   • 計算性能指標（Reque@1和QP）。

5. 性能可視化

   • 生成圖，顯示召回與QP之間的權衡。
   • 使用matplotlib顯示該圖。

6. 量化

   • 創建了自定義PQ索引（ CustomIndexPQ ）。
   • 該指數是訓練的，並添加了講座。

7. 示例搜索

   • 使用PQ索引執行示例搜索。
   • 記錄結果，顯示與給定講座相似的講座。

依賴性

• Python 3.7或更高
• 必需的Python軟件包（通過sumplions.txt安裝）：
  • numpy
  • matplotlib
  • faiss （如果有GPU，則通過pip install faiss-cpu或faiss-gpu ）
  • logging
  • 嵌入模型庫（例如，如果使用擁抱面部模型， transformers ）

執照

該項目已根據MIT許可獲得許可。請參閱許可證

文件以獲取詳細信息。