search engine system

Sistema de mecanismo de pesquisa

Um sistema de mecanismo de pesquisa escalonável que suporta recursos de pesquisa de imagem e texto usando a similaridade vetorial.

Pesquisa de imagem

Pesquisa de texto

Arquitetura do sistema

Arquitetura do sistema

Características

• Mecanismo de pesquisa de imagens : pesquise imagens semelhantes usando incorporações de aprendizado profundo

  • Documentação detalhada
  • Pesquisa de similaridade vetorial usando QDRANT
  • Suporte para vários formatos de imagem
  • Processamento de imagem em tempo real e geração de incorporação
  • Baseado na arquitetura Resnet/EFIFFAFITFYNET para extração de recursos

• Mecanismo de pesquisa de texto : pesquisa avançada de texto com elasticsearch

  • Documentação detalhada
  • Recursos de pesquisa dupla:
    • AutoComplete (Search-AS-You-Type) usando o Tokenizer de Edge Ngram
    • Pesquisa de texto completo com combinação difusa
  • Pontuação personalizada com base em métricas de negócios
  • Pesquisa de vários campos entre nomes de itens e lojas
  • Suporte para a língua vietnamita

Detalhes técnicos

Oleoduto de pesquisa de imagens

• Pré -processamento :

  • Redimensionamento de imagem e normalização
  • Aumento de dados para treinamento
  • Suporte para formatos JPEG, PNG e Webp

• Extração de recursos :

  • Arquiteturas profundas da CNN (resnet/eficientNet)
  • Formato Onnx para compatibilidade entre plataformas
  • Otimização tensorrt para inferência de GPU
  • Saída: 512/1024 Dimensional Vetores de incorporação

• Armazenamento e pesquisa de vetores :

  • Banco de dados de vetores QDRANT para busca eficiente de similaridade
  • Índice HNSW para pesquisa vizinha rápida aproximada mais próxima
  • Métricas de distância configuráveis ​​(cosseno/euclidiano)

Pipeline de pesquisa de texto

• Processamento e análise de texto :

  • Analisadores personalizados de pesquisa de pesquisa:
    • Analisador de palavras -chave com dobra baixa e ascii
    • Analisador de ponta do NGRAM para o AutoComplete (min_gram: 2, max_gram: 5)
    • Analisador padrão para pesquisa de texto completo
  • Filtros de personagens e tokenização
  • Apoio ao texto vietnamita

• Abordagens de pesquisa :

  1. AutoComplete (pesquisa como você) :

     • Tokenizer Ngram de borda para correspondência de prefixo
     • Sugestester de conclusão personalizada
     • Otimizado para sugestões instantâneas
     • Mínimo 2 caracteres para sugestões

  2. Pesquisa de texto completo :

     • Consulta de várias partidas nos campos:
       • item_name
       • shop_name
     • Combinando confuso com o Auto Fuzziness
     • Pontuação personalizada com base em métricas de negócios:
       • Taxa de venda (porcentagem de desconto)
       • Volume de vendas (> 1000 bônus de vendas)
       • Normalização do preço do item

• Otimização de pesquisa :

  • Modelo de pontuação personalizado usando scripts Elasticsearch
  • Indexação em lote para ingestão de dados eficientes
  • Operações de pesquisa assíncrona
  • Tamanho do resultado configurável
  • Manuseio e log de erros

• Recursos de Elasticsearch :

  • Mapeamentos de índice personalizados
  • Vários tipos de campo e analisadores
  • Consultas de pontuação da função
  • Pontuação baseada em scripts
  • Operações de indexação em massa

Pilha de tecnologia

Modelo Serviço

• Nvidia Triton Inference Server :
  • Documentação do Triton Server
  • Modelo de versão e teste A/B
  • Lote dinâmico
  • Execução do modelo simultâneo
  • Otimização da GPU com Tensorrt
  • Modelo Pipeline de conversão de formato:
    • Pytorch → Onnx → Tensorrt

Infraestrutura

• Recipiente :

  • Docker Builds de vários estágios
  • Imagens otimizadas de contêiner
  • Docker compor para desenvolvimento

• Orquestração :

  • Implantação de Kubernetes
  • Helm Gráficos para gerenciamento de pacotes
  • Autoscaling da vagem horizontal
  • Gerenciamento de recursos e escala

• Monitoramento e registro :

  • Métricas de Prometheus
  • Painéis de grafana
  • Rastreamento distribuído
  • Monitoramento de desempenho

Começando

1. Clone o repositório:

git clone https://github.com/vectornguyen76/search-engine-system.git

2. Inicie os serviços usando o Docker Compose:

docker-compose up -d

3. Acesse os Serviços:

• Pesquisa de imagem UI: http: // localhost: 8501
• Pesquisa de texto UI: http: // localhost: 8502
• Triton Server: http: // localhost: 8000

Desenvolvimento

Oleoduto CI/CD

• Ambiente de Desenvolvimento :

  • LINHO DE CÓDIGO (FLAKE8)
  • Testes de unidade
  • Testes de integração

• Ambiente de encenação :

  • Teste de desempenho
  • Teste de carga
  • Digitalização de segurança

• Ambiente de produção :

  • Implantação azul-esverdeada
  • Reversão automatizada
  • Monitoramento de desempenho

Qualidade de código

• Flake8 para linha de código Python
• Dicas de tipo e documentação
• Testes automatizados no pipeline de CI/CD
• Processo de revisão de código

Contribuindo

1. Fork o repositório
2. Crie seu ramo de recursos
3. Cometer suas mudanças
4. Empurre para o ramo
5. Crie uma nova solicitação de tração

Licença

Este projeto está licenciado sob a licença do MIT - consulte o arquivo de licença para obter detalhes.