news article vector search

⚡️ Búsqueda de NRC rápida de Blazing Fast

[EXPERIMENTAL]

El objetivo de este repositorio es construir una búsqueda neuronal semántica rápida y ardiente utilizando un Vector DB multilingüe LLM y Qdrant (cuadrante). Se utilizan los siguientes técnicos

• Qdrant
• Arrepentido
• Transformador de oraciones
• Distiluse-Base-Multilingüe-Cased-V1 (modelo)
  • genera espacios vectoriales alineados, es decir, entradas similares en diferentes idiomas se mapean cerca en el espacio vectorial
  • 14 idiomas (incl. NL)
• Cuantización escalar (para tiempo de inferencia y eficiencia de memoria más rápida)
  • De 8 bits

Datos

Los datos se rasparon utilizando la API de Rasper NRC dado un conjunto de categorías. El resultado es un conjunto de datos de elementos del artículo NRC> 6500 y fragmentos de artículos completos> 45000.

Instalación

 pip install -r requirements.txt

Uso

qdrant

 http://localhost:6333

API

 http://localhost:8000

ui web

 index.html

pavonearse

 http://localhost:8000/docs