search engine system

Suchmaschinensystem

Ein skalierbares Suchmaschinensystem, das sowohl Bild- als auch Textsuchfunktionen mithilfe der Vektorähnlichkeit unterstützt.

Bildsuche

Textsuche

Systemarchitektur

Systemarchitektur

Merkmale

• Bildsuchmaschine : Suchen Sie nach ähnlichen Bildern mit Deep Learning Embettings

  • Detaillierte Dokumentation
  • Vektor -Ähnlichkeitssuche mit QDrant
  • Unterstützung für mehrere Bildformate
  • Echtzeit-Bildverarbeitung und Einbettung der Erzeugung
  • Basierend auf der RESNET/EfficienceNet -Architektur für die Feature -Extraktion

• Textsuch Engine : Erweiterte Text Suche mit Elasticsearch

  • Detaillierte Dokumentation
  • Doppelte Suchfunktionen:
    • Autocomplete (Such-as-you-Typ) mit Edge Ngram Tokenizer
    • Volltext-Suche mit Fuzzy-Matching
  • Custom Scoring basierend auf Geschäftsmetriken
  • Multi-Feld-Suche über Artikel- und Ladennamen
  • Unterstützung für die vietnamesische Sprache

Technische Details

Bildsuche Pipeline

• Vorverarbeitung :

  • Bildänderung und Normalisierung
  • Datenvergrößerung für das Training
  • Unterstützung für JPEG-, PNG- und Webp -Formate

• Feature -Extraktion :

  • Deep CNN -Architekturen (Resnet/Efficienziell)
  • ONNX-Format für plattformübergreifende Kompatibilität
  • Tensorrt -Optimierung für GPU -Inferenz
  • Ausgang: 512/1024-dimensionale Einbettungsvektoren

• Vektorspeicher & Suche :

  • QDRANT -Vektor -Datenbank zur effizienten Ähnlichkeitssuche
  • HNSW -Index für die schnelle ungefähre Suche nach der nächsten Nachbarn
  • Konfigurierbare Distanzmetriken (Cosinus/Euklidan)

Textsuchpipeline

• Textverarbeitung und -analyse :

  • Benutzerdefinierte Elasticsearch -Analysatoren:
    • Schlüsselwortanalysator mit Kleinbuchstaben und ASCII -Falten
    • Edge Ngram Analyzer für AutoComplete (min_gram: 2, max_gram: 5)
    • Standardanalysator für die Volltext-Suche
  • Charakterfilter und Tokenisierung
  • Unterstützung für den vietnamesischen Text

• Suchansätze :

  1. Autocomplete (Such-as-you-Typ) :

     • Edge Ngram Tokenizer für das Präfix -Matching
     • Benutzerdefinierte Fertigstellung Vorschlag
     • Optimiert für sofortige Vorschläge
     • Mindestens 2 Zeichen für Vorschläge

  2. Volltext-Suche :

     • Multi-Match-Abfrage über Felder hinweg:
       • item_name
       • Shop_name
     • Fuzzy -Übereinstimmung mit Auto -Unschärfe
     • Custom Scoring basierend auf Geschäftsmetriken:
       • Verkaufsrate (Rabattprozentsatz)
       • Verkaufsvolumen (> 1000 Verkaufsbonus)
       • Artikelnormalisierung der Artikelpreis

• Suchoptimierung :

  • Benutzerdefinierte Bewertungsvorlage mit Elasticsearch -Skripten
  • Batch -Indexierung für effiziente Datenaufnahme
  • Asynchrone Suchvorgänge
  • Konfigurierbare Ergebnisgröße
  • Fehlerhandhabung und Protokollierung

• Elasticsearch -Funktionen :

  • Benutzerdefinierte Indexzuordnungen
  • Mehrere Feldtypen und Analysatoren
  • Funktionswerte Abfragen
  • Script-basierte Bewertung
  • Bulk -Indexierungsvorgänge

Technologiestapel

Modelldienste

• Nvidia Triton Inference Server :
  • Triton Server -Dokumentation
  • Modellversioning und A/B -Tests
  • Dynamisches Chargen
  • Gleichzeitige Modellausführung
  • GPU -Optimierung mit Tensorrt
  • Modellformatkonvertierungspipeline:
    • Pytorch → Onnx → Tensorrt

Infrastruktur

• Containerisierung :

  • Docker Multi-Stufe Builds
  • Optimierte Containerbilder
  • Docker komponieren für die Entwicklung

• Orchestrierung :

  • Kubernetes -Bereitstellung
  • Helmdiagramme für das Paketmanagement
  • Horizontaler Pod -Autoscaling
  • Ressourcenmanagement und Skalierung

• Überwachung und Protokollierung :

  • Prometheus -Metriken
  • Grafana Dashboards
  • Verteilte Verfolgung
  • Leistungsüberwachung

Erste Schritte

1. Klonen Sie das Repository:

git clone https://github.com/vectornguyen76/search-engine-system.git

2. Starten Sie die Dienste mit Docker Compose:

docker-compose up -d

3. Zugriff auf die Dienste:

• Bildsuche UI: http: // localhost: 8501
• Textsuche UI: http: // localhost: 8502
• Triton Server: http: // localhost: 8000

Entwicklung

CI/CD -Pipeline

• Entwicklungsumgebung :

  • CODELINTING (FLAKE8)
  • Unit -Tests
  • Integrationstests

• Staging -Umgebung :

  • Leistungstests
  • Lastprüfung
  • Sicherheitsscanning

• Produktionsumgebung :

  • Blue-Green-Bereitstellung
  • Automatisierter Rollback
  • Leistungsüberwachung

Codequalität

• Flake8 für Python -Code -Lining
• Geben Sie Hinweise und Dokumentation ein
• Automatisierte Tests in CI/CD -Pipeline
• Code -Überprüfungsprozess

Beitragen

1. Geben Sie das Repository auf
2. Erstellen Sie Ihre Funktionszweig
3. Verpflichten Sie Ihre Änderungen
4. In den Zweig drücken
5. Erstellen Sie eine neue Pull -Anfrage

Lizenz

Dieses Projekt ist unter der MIT -Lizenz lizenziert - Einzelheiten finden Sie in der Lizenzdatei.