news article vector search

⚡️ pencarian NRC cepat menyala

[Eksperimental]

Tujuan dari repo ini adalah untuk membangun pencarian saraf semantik cepat yang menyala menggunakan LLM multibahasa dan qdrant (kuadran) vektor DB. Teknologi berikut digunakan

• Qdrant
• FASTEMBED
• Transformator kalimat
• Distiluse-Base-Multilingual-Cased-V1 (Model)
  • Menghasilkan ruang vektor yang selaras, yaitu, input serupa dalam berbagai bahasa dipetakan dekat dalam ruang vektor
  • 14 Bahasa (termasuk NL)
• Kuantisasi skalar (untuk waktu inferensi yang lebih cepat dan efisiensi memori)
  • 8-bit

Data

Data dikikis dengan menggunakan NRC Scraper API yang diberikan satu set kategori. Hasilnya adalah set data item artikel NRC> 6500 dan potongan dari artikel lengkap> 45000.

Instalasi

 pip install -r requirements.txt

Penggunaan

qdrant

 http://localhost:6333

API

 http://localhost:8000

Web UI

 index.html

menyombongkan

 http://localhost:8000/docs