search engine system

ระบบเครื่องมือค้นหา

ระบบเครื่องมือค้นหาที่ปรับขนาดได้ซึ่งรองรับทั้งความสามารถในการค้นหาภาพและข้อความโดยใช้ความคล้ายคลึงกันของเวกเตอร์

การค้นหาภาพ

การค้นหาข้อความ

สถาปัตยกรรมระบบ

สถาปัตยกรรมระบบ

คุณสมบัติ

• เครื่องมือค้นหาภาพ : ค้นหาภาพที่คล้ายกันโดยใช้การฝังลึกการเรียนรู้ลึก

  • เอกสารโดยละเอียด
  • การค้นหาความคล้ายคลึงกันของเวกเตอร์โดยใช้ qdrant
  • รองรับรูปแบบรูปภาพหลายรูปแบบ
  • การประมวลผลภาพและการสร้างภาพแบบเรียลไทม์
  • ขึ้นอยู่กับสถาปัตยกรรม ResNet/EfficientNet สำหรับการสกัดคุณลักษณะ

• เครื่องมือค้นหาข้อความ : ค้นหาข้อความขั้นสูงด้วย Elasticsearch

  • เอกสารโดยละเอียด
  • ความสามารถในการค้นหาคู่:
    • AUTOCOMPLETE (Search-as-you-type) โดยใช้ Edge NGRAM TOKENIZER
    • การค้นหาข้อความแบบเต็มด้วยการจับคู่ฟัซซี่
  • การให้คะแนนแบบกำหนดเองตามตัวชี้วัดทางธุรกิจ
  • การค้นหาหลายฟิลด์ในรายการรายการและร้านค้า
  • สนับสนุนภาษาเวียดนาม

รายละเอียดทางเทคนิค

ไปป์ไลน์การค้นหารูปภาพ

• การประมวลผลล่วงหน้า :

  • การปรับขนาดภาพและการทำให้เป็นมาตรฐาน
  • การเพิ่มข้อมูลสำหรับการฝึกอบรม
  • สนับสนุนรูปแบบ JPEG, PNG และ WEBP

• การแยกคุณสมบัติ :

  • สถาปัตยกรรม CNN ลึก (resnet/EfficientNet)
  • รูปแบบ ONNX สำหรับความเข้ากันได้ข้ามแพลตฟอร์ม
  • การเพิ่มประสิทธิภาพ Tensorrt สำหรับการอนุมาน GPU
  • เอาต์พุต: 512/1024 มิติเวกเตอร์

• การจัดเก็บและค้นหาเวกเตอร์ :

  • ฐานข้อมูล qdrant Vector สำหรับการค้นหาความคล้ายคลึงกันที่มีประสิทธิภาพ
  • ดัชนี HNSW สำหรับการค้นหาเพื่อนบ้านที่ใกล้ที่สุดโดยประมาณที่รวดเร็ว
  • ตัวชี้วัดระยะทางที่กำหนดค่าได้ (Cosine/Euclidean)

ท่อส่งข้อความ

• การประมวลผลและการวิเคราะห์ข้อความ :

  • นักวิเคราะห์ Elasticsearch ที่กำหนดเอง:
    • เครื่องวิเคราะห์คำหลักที่มีตัวพิมพ์เล็กและการพับ ASCII
    • Edge Ngram Analyzer สำหรับการเติมข้อความอัตโนมัติ (min_gram: 2, max_gram: 5)
    • เครื่องวิเคราะห์มาตรฐานสำหรับการค้นหาข้อความแบบเต็ม
  • ตัวกรองอักขระและโทเค็น
  • สนับสนุนข้อความเวียดนาม

• วิธีการค้นหา :

  1. Autocomplete (search-as-you-type) :

     • Edge Ngram Tokenizer สำหรับการจับคู่คำนำหน้า
     • Suggester เสร็จสมบูรณ์แบบกำหนดเอง
     • ปรับให้เหมาะสมสำหรับคำแนะนำทันที
     • อักขระขั้นต่ำ 2 อักขระสำหรับคำแนะนำ

  2. การค้นหาข้อความแบบเต็ม :

     • แบบสอบถามหลายนัดข้ามฟิลด์:
       • item_name
       • shop_name
     • การจับคู่ฟัซซี่กับความคลุมเครืออัตโนมัติ
     • การให้คะแนนแบบกำหนดเองตามตัวชี้วัดทางธุรกิจ:
       • อัตราการขาย (เปอร์เซ็นต์ส่วนลด)
       • ปริมาณการขาย (> โบนัสการขาย 1,000 รายการ)
       • การทำให้เป็นมาตรฐานราคารายการ

• การเพิ่มประสิทธิภาพการค้นหา :

  • เทมเพลตการให้คะแนนแบบกำหนดเองโดยใช้สคริปต์ Elasticsearch
  • การจัดทำดัชนีแบบแบทช์สำหรับการบริโภคข้อมูลที่มีประสิทธิภาพ
  • การดำเนินการค้นหาแบบอะซิงโครนัส
  • ขนาดผลลัพธ์ที่กำหนดค่าได้
  • การจัดการข้อผิดพลาดและการบันทึก

• คุณสมบัติ ElasticSearch :

  • การแมปดัชนีที่กำหนดเอง
  • หลายประเภทและเครื่องวิเคราะห์
  • สืบค้นคะแนนฟังก์ชั่น
  • การให้คะแนนสคริปต์
  • การดำเนินการจัดทำดัชนีจำนวนมาก

สแต็คเทคโนโลยี

การให้บริการแบบจำลอง

• เซิร์ฟเวอร์การอนุมาน Nvidia Triton :
  • เอกสารประกอบเซิร์ฟเวอร์ Triton
  • การกำหนดเวอร์ชันแบบจำลองและการทดสอบ A/B
  • การแบตช์แบบไดนามิก
  • การดำเนินการแบบจำลองพร้อมกัน
  • การเพิ่มประสิทธิภาพ GPU ด้วย tensorrt
  • รูปแบบการแปลงรูปแบบโมเดล:
    • pytorch → onnx → tensorrt

โครงสร้างพื้นฐาน

• คอนเทนเนอร์ :

  • Docker Multi-Stage Builds
  • ภาพคอนเทนเนอร์ที่ปรับให้เหมาะสม
  • นักเทียบท่าเขียนเพื่อการพัฒนา

• orchestration :

  • การปรับใช้ Kubernetes
  • ชาร์ต Helm สำหรับการจัดการแพ็คเกจ
  • การปรับสภาพแบบพ็อดแนวนอน
  • การจัดการทรัพยากรและการปรับขนาด

• การตรวจสอบและการบันทึก :

  • โพรโพรติก
  • แดชบอร์ด Grafana
  • การติดตามแบบกระจาย
  • การตรวจสอบประสิทธิภาพ

เริ่มต้น

1. โคลนที่เก็บ:

git clone https://github.com/vectornguyen76/search-engine-system.git

2. เริ่มบริการโดยใช้ Docker Compose:

docker-compose up -d

3. เข้าถึงบริการ:

• การค้นหารูปภาพ UI: http: // localhost: 8501
• การค้นหาข้อความ UI: http: // localhost: 8502
• Triton Server: http: // localhost: 8000

การพัฒนา

CI/CD Pipeline

• สภาพแวดล้อมการพัฒนา :

  • ผ้าสำลีรหัส (Flake8)
  • การทดสอบหน่วย
  • การทดสอบการรวม

• สภาพแวดล้อมการจัดเตรียม :

  • การทดสอบประสิทธิภาพ
  • การทดสอบโหลด
  • การสแกนความปลอดภัย

• สภาพแวดล้อมการผลิต :

  • การปรับใช้สีน้ำเงินเขียว
  • การย้อนกลับอัตโนมัติ
  • การตรวจสอบประสิทธิภาพ

คุณภาพรหัส

• Flake8 สำหรับ Python Code Linting
• พิมพ์คำแนะนำและเอกสารประกอบ
• การทดสอบอัตโนมัติในไปป์ไลน์ CI/CD
• กระบวนการตรวจสอบรหัส

การบริจาค

1. แยกที่เก็บ
2. สร้างสาขาคุณสมบัติของคุณ
3. กระทำการเปลี่ยนแปลงของคุณ
4. ผลักไปที่สาขา
5. สร้างคำขอดึงใหม่

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT - ดูไฟล์ใบอนุญาตสำหรับรายละเอียด