search engine system

Система поисковых систем

Масштабируемая система поисковой системы, поддерживающая возможности изображения и текстового поиска с использованием векторного сходства.

Поиск изображения

Текстовый поиск

Системная архитектура

Системная архитектура

Функции

• Поисковая система изображений : поиск похожих изображений с использованием встроенных глубокого обучения

  • Подробная документация
  • Поиск сходства вектора с использованием Qdrant
  • Поддержка нескольких форматов изображений
  • Обработка изображений в реальном времени и генерация встраивания
  • На основе архитектуры Resnet/EfficiperNet для извлечения функций

• Поисковая система текста : расширенный текстовый поиск с Elasticsearch

  • Подробная документация
  • Возможности двойного поиска:
    • AutoCoplete (Search-As-You-Type) с использованием токенизатора Edge Ngram
    • Полнотекстовый поиск с нечетким сопоставлением
  • Пользовательская оценка на основе бизнес -метрик
  • Поиск многополевого поля по элементам и именам магазинов
  • Поддержка вьетнамского языка

Технические детали

Поиск изображения

• Предварительная обработка :

  • Изменение размера изображения и нормализация
  • Увеличение данных для обучения
  • Поддержка форматов JPEG, PNG и WEBP

• Извлечение функций :

  • Глубокие архитектуры CNN (RESNET/EffificTnet)
  • Формат ONNX для кроссплатформенной совместимости
  • Оптимизация тенсорт для вывода GPU
  • Выход: 512/1024-мерные векторы встраивания

• Векторное хранилище и поиск :

  • Qdrant Vector Database для эффективного поиска сходства
  • Индекс HNSW для быстрого приблизительного поиска ближайшего соседа
  • Настраиваемые метрики расстояния (косинус/евклидовый)

Текстовый поиск

• Текстовая обработка и анализ :

  • Пользовательские анализаторы Elasticsearch:
    • Анализатор ключевых слов со складыванием строчных и ASCII
    • Adge Ngram Analyzer для автозаполнения (min_gram: 2, max_gram: 5)
    • Стандартный анализатор для полнотекстового поиска
  • Фильтры и токенизация персонажей
  • Поддержка вьетнамского текста

• Подходы поиска :

  1. Автозаполнение (поиск как тип) :

     • Tockinizer Edge NGRAM для сопоставления префикса
     • Пользовательское завершение Suggester
     • Оптимизирован для мгновенных предложений
     • Минимум 2 символа для предложений

  2. Полнотекстовый поиск :

     • Многочисленные запросы по полям:
       • item_name
       • shop_name
     • Нечеткое сопоставление с автоматической нечеткостью
     • Пользовательская оценка на основе бизнес -метрик:
       • Ставка продажи (процент скидки)
       • Объем продаж (> 1000 бонус продаж)
       • Нормализация цены

• Оптимизация поиска :

  • Шаблон на заказ с использованием сценариев Elasticsearch
  • Индексация партии для эффективного приема данных
  • Асинхронные поисковые операции
  • Настраиваемый размер результата
  • Обработка ошибок и регистрация

• Elasticsearch Features :

  • Пользовательские индексные отображения
  • Несколько типов поля и анализаторы
  • Функциональные запросы
  • На основе сценариев счет
  • Объемные операции индексации

Технологический стек

Модель служа

• NVIDIA TRITON SERVER SERVER :
  • Документация Triton Server
  • Модель версий и A/B -тестирование
  • Динамическое партия
  • Одновременное выполнение модели
  • Оптимизация графического процессора с помощью Tensorrt
  • Трубопровод преобразования формата модели:
    • Pytorch → onnx → tensorrt

Инфраструктура

• Контейнеризация :

  • Docker Multi-stage Builds
  • Оптимизированные контейнерные изображения
  • Docker Compose для разработки

• Оркестровка :

  • Развертывание Kubernetes
  • Хульжковые диаграммы для управления пакетами
  • Горизонтальный POD Autoscaling
  • Управление ресурсами и масштабирование

• Мониторинг и ведение журнала :

  • Прометея метрик
  • Графана мониторные панели
  • Распределенная трассировка
  • Мониторинг производительности

Начиная

1. Клонировать репозиторий:

git clone https://github.com/vectornguyen76/search-engine-system.git

2. Начните службы, используя Docker Compose:

docker-compose up -d

3. Доступ к услугам:

• Поиск изображения пользовательский интерфейс: http: // localhost: 8501
• Поиск текста UI: http: // localhost: 8502
• Triton Server: http: // localhost: 8000

Разработка

CI/CD Pipeline

• Среда развития :

  • Кодовая линовая (Flake8)
  • Модульные тесты
  • Интеграционные тесты

• Постановка среда :

  • Тестирование производительности
  • Нагрузочное тестирование
  • Сканирование безопасности

• Производственная среда :

  • Голубо-зеленое развертывание
  • Автоматизированный откат
  • Мониторинг производительности

Качество кода

• Flake8 для кода Python
• Тип подсказки и документация
• Автоматизированное тестирование в трубопровод CI/CD
• Процесс проверки кода

Внося

1. Вилка репозитория
2. Создайте филиал своей функции
3. Совершить свои изменения
4. Подтолкнуть к ветке
5. Создать новый запрос на тяжесть

Лицензия

Этот проект лицензирован по лицензии MIT - для получения подробной информации см. Файл лицензии.