news article vector search

⚡️ Blazing Fast NRC -Suche

[EXPERIMENTAL]

Das Ziel dieses Repo ist es, eine loderne schnelle semantische neuronale Suche mit einem mehrsprachigen LLM- und QDRant (Quadrant) -Vektor DB aufzubauen. Die folgenden Techniker werden verwendet

• Qdrant
• Fastembed
• Satztransformator
• Distiluse-Base-Multingual-Cased-V1 (Modell)
  • Erzeugt ausgerichtete Vektorräume, dh ähnliche Eingaben in verschiedenen Sprachen werden im Vektorraum nahe zugeordnet
  • 14 Sprachen (inkl. Nl)
• Skalarquantisierung (für schnellere Inferenzzeit und Gedächtniseffizienz)
  • 8-Bit

Daten

Die Daten wurden unter Verwendung der NRC -API -API mit einer Reihe von Kategorien abgeschafft. Das Ergebnis ist ein Datensatz von NRC -Artikelselementen> 6500 und Stücke aus Vollartikeln> 45000.

Installation

 pip install -r requirements.txt

Verwendung

Qdrant

 http://localhost:6333

API

 http://localhost:8000

Web UI

 index.html

stolzieren

 http://localhost:8000/docs