Vector Search with FAISS

Векторный поиск с использованием встроенных, FAISS и квантоваемости продукта

Обзор

Этот проект реализует эффективную систему поиска сходства для содержания лекций, используя встроенные, FAISS и квантование продукта с помощью пользовательского индекса и реализаций Kmeans. Это позволяет вам найти аналогичные лекции на основе текстового контента, обеспечивая быстрый поиск и рекомендации лекций.

Функции

• Предварительная обработка данных : лекция по загрузке и предварительному обращению и данные запроса (сгенерированные CATGPT).
• Встраивание : вычислить и нормализовать встраивания с использованием указанной модели.
• Индексация FAISS : Создайте и оцените индекс FAISS для эффективного поиска сходства.
• Оценка эффективности : вычислительные отзывы и запросы в секунду (QPS) метрик.
• Квантование : реализовать квантование продукта (PQ) с помощью пользовательского индекса для снижения требований к хранению.
• Визуализация : метрики производительности сюжета для анализа.

Оглавление

• Установка
• Подготовка данных
• Конфигурация
• Использование
• Зависимости
• Лицензия

Установка

1. Клонировать репозиторий

   git clone https://github.com/bariscamli/Vector-Search-with-FAISS.git
   cd Vector-Search-with-FAISS

2. Создайте виртуальную среду (необязательно, но рекомендуется)

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

3. Создайте виртуальную среду (необязательно, но рекомендуется)

   pip install -r requirements.txt

Подготовка данных

• Данные лекции: разместите тексты лекций в файл, указанный LECTURE_FILE в config.py. Каждая строка должна содержать одну лекцию.

• Данные запроса: поместите тексты запроса в файл, указанный QUERY_FILE в config.py. Каждая строка должна содержать один запрос. Пример формата для лекций.txt:

   Introduction to Machine Learning
  Advanced Topics in Deep Learning
  Statistical Methods in Data Science
  ...
  

  Пример формата для Queries.txt:

   Basics of Neural Networks
  Regression Analysis Techniques
  Clustering Algorithms Overview
  ...
  

Конфигурация

Все конфигурации управляются через файл config.py. Ключевые параметры включают:

 File Paths
- LECTURE_FILE: Path to the lecture data file.
- QUERY_FILE: Path to the query data file.
Embedding Model
- EMBEDDING_MODEL_NAME: Name or path of the embedding model to use.
- BATCH_SIZE: Batch size for computing embeddings.
FAISS Parameters
- FAISS_EFSEARCH_VALUES: List of efSearch values for performance evaluation.
Quantization Parameters
- PQ_M: Number of sub-vector quantizers.
- PQ_NBITS: Number of bits per sub-vector.
- KMEANS_MAX_ITER: Maximum iterations for k-means during PQ training.

Использование

Запустите основной сценарий, чтобы выполнить полный трубопровод:

python main.py

Что происходит, когда вы запускаете main.py

1. Загрузка данных и предварительная обработка

   • Лекции и запросы загружаются из указанных файлов.
   • Текстовые данные предварительно обработаны (например, токенизация, очистка).

2. Встраивание вычислений

   • Модель встраивания загружается в соответствии с EMBEDDING_MODEL_NAME .
   • Внедрения для лекций и запросов вычисляются и нормализуются.

3. Базовые вычисления

   • Базовая матрица сходства вычисляется с использованием точечных продуктов.
   • Базовая линия используется для сравнения производительности.

4. Файсс индексное здание и оценка

   • Индекс FAISS построен для лекции внедрения.
   • Индекс оценивается по различным значениям efSearch .
   • Вычисляются метрики производительности (Remeply@1 и QP).

5. Визуализация производительности

   • Сформируется сюжет, показывающий компромисс между отзывами и QP.
   • Сюжет отображается с использованием matplotlib.

6. Квантование

   • Создан пользовательский индекс PQ ( CustomIndexPQ ).
   • Индекс обучен, и к нему добавляются лекции.

7. Пример поиска

   • Пример поиска выполняется с использованием индекса PQ.
   • Результаты регистрируются, показывающие аналогичные лекции для данной лекции.

Зависимости

• Python 3.7 или выше
• Требуемые пакеты Python (установлены с помощью требований .txt):
  • numpy
  • matplotlib
  • faiss (установка через pip install faiss-cpu или faiss-gpu , если у вас есть графический процессор)
  • logging
  • Внедрение модельных библиотек (например, transformers при использовании моделей обнимающего лица)

Лицензия

Этот проект лицензирован по лицензии MIT. Смотрите лицензию

Файл для деталей.