Unduh search engine system - Unduh Kode Sumber search engine system

Unduh

Sistem Mesin Pencari

Sistem mesin pencari yang dapat diskalakan yang mendukung kemampuan pencarian gambar dan teks menggunakan kesamaan vektor.

Pencarian Gambar

Pencarian Teks

Arsitektur Sistem

Mesin Pencari Gambar : Cari gambar serupa menggunakan embeddings pembelajaran mendalam
- Dokumentasi terperinci
- Pencarian kesamaan vektor menggunakan qdrant
- Dukungan untuk beberapa format gambar
- Pemrosesan gambar real-time dan generasi yang menanamkan
- Berdasarkan arsitektur ResNet/EfficientNet untuk ekstraksi fitur
Mesin Pencari Teks : Pencarian Teks Lanjutan dengan Elasticsearch
- Dokumentasi terperinci
- Kemampuan Pencarian Ganda:
  - AutoComplete (Search-As-You-Type) Menggunakan Tokenizer Edge Ngram
  - Pencarian teks lengkap dengan pencocokan fuzzy
- Penilaian khusus berdasarkan metrik bisnis
- Pencarian multi-lapangan di seluruh item dan nama toko
- Dukungan untuk bahasa Vietnam

Preprocessing :
- Ubah Ulang dan Normalisasi Gambar
- Augmentasi data untuk pelatihan
- Dukungan untuk format JPEG, PNG, dan Webp
Ekstraksi fitur :
- Arsitektur CNN dalam (ResNet/EfficientNet)
- Format ONNX untuk kompatibilitas lintas platform
- Optimalisasi Tensorrt untuk Inferensi GPU
- Output: 512/1024-dimensi vektor embedding
Penyimpanan & Pencarian Vektor :
- Qdrant Vector Database untuk pencarian kesamaan yang efisien
- Indeks HNSW untuk Perkiraan Cepat Pencarian tetangga terdekat
- Metrik jarak yang dapat dikonfigurasi (cosinus/euclidean)

Pemrosesan & Analisis Teks :
- Analisis Custom Elasticsearch:
  - Penganalisa kata kunci dengan huruf kecil dan lipat ASCII
  - EDGE NGRAM ANALYZER untuk AutoComplete (Min_Gram: 2, Max_Gram: 5)
  - Analyzer standar untuk pencarian teks lengkap
- Filter dan tokenisasi karakter
- Dukungan untuk teks Vietnam
Pendekatan pencarian :
1. AutoComplete (Search-As-You-Type) :
  - Tokenizer Ngram tepi untuk pencocokan awalan
  - Suggester Penyelesaian Kustom
  - Dioptimalkan untuk saran instan
  - Minimum 2 karakter untuk saran
2. Pencarian teks lengkap :
  - Kueri multi-pertandingan di seluruh bidang:
    - item_name
    - shop_name
  - Pencocokan fuzzy dengan kekaburan otomatis
  - Penilaian khusus berdasarkan metrik bisnis:
    - Tingkat Penjualan (Persentase Diskon)
    - Volume Penjualan (> 1000 Bonus Penjualan)
    - Normalisasi Harga Item
Optimalisasi Pencarian :
- Template Penilaian Kustom Menggunakan Skrip Elasticsearch
- Pengindeksan batch untuk konsumsi data yang efisien
- Operasi Pencarian Asinkron
- Ukuran hasil yang dapat dikonfigurasi
- Penanganan dan logging kesalahan
Fitur Elasticsearch :
- Pemetaan indeks khusus
- Jenis dan analisis lapangan berganda
- Kueri Skor Fungsi
- Skor berbasis naskah
- Operasi Pengindeksan Massal

NVIDIA Triton Inference Server :
- Dokumentasi Server Triton
- Versi model dan pengujian A/B
- Batching dinamis
- Eksekusi Model Bersamaan
- Optimalisasi GPU dengan Tensorrt
- Pipa Konversi Format Model:
  - Pytorch → Onnx → Tensorrt

Kontainerisasi :
- Docker Multi-Stage Builds
- Gambar wadah yang dioptimalkan
- Docker menyusun untuk pengembangan
Orkestrasi :
- Penempatan Kubernetes
- Grafik Helm untuk Manajemen Paket
- Autoscaling pod horizontal
- Manajemen dan penskalaan sumber daya
Pemantauan & Penebangan :
- Metrik Prometheus
- Dashboard Grafana
- Penelusuran Terdistribusi
- Pemantauan Kinerja

git clone https://github.com/vectornguyen76/search-engine-system.git

docker-compose up -d

Lingkungan Pembangunan :
- Kode Linting (Flake8)
- Tes unit
- Tes integrasi
Lingkungan pementasan :
- Pengujian kinerja
- Pengujian beban
- Pemindaian Keamanan
Lingkungan Produksi :
- Penyebaran biru-hijau
- Rollback otomatis
- Pemantauan Kinerja