news article vector search

⚡️ Recherche de NRC rapide flamboyante

[EXPÉRIMENTAL]

L'objectif de ce dépôt est de construire une recherche neuronale sémantique rapide flamboyante à l'aide d'un vecteur LLM multilingue et vectoriel QDRANT (quadrant). Les techniciens suivants sont utilisés

• Qdrant
• Fit
• Transformateur de phrase
• Distiluse-base-multitilingue-Cased-V1 (modèle)
  • Génére les espaces vectoriels alignés, c'est-à-dire que des entrées similaires dans différentes langues sont mappées de près dans l'espace vectoriel
  • 14 langues (incl. NL)
• Quantification scalaire (pour un temps d'inférence et une efficacité de mémoire plus rapides)
  • 8 bits

Données

Les données ont été grattées en utilisant l'API Scraper NRC étant donné un ensemble de catégories. Le résultat est un ensemble de données des éléments de l'article NRC> 6500 et des morceaux à partir d'articles complets> 45000.

Installation

 pip install -r requirements.txt

Usage

qdrant

 http://localhost:6333

API

 http://localhost:8000

ui Web

 index.html

fanfarner

 http://localhost:8000/docs