news article vector search

⚡️ Pesquisa rápida do NRC em chamas

[EXPERIMENTAL]

O objetivo deste repositório é construir uma pesquisa neural semântica rápida, usando um db de vetor multilíngue LLM e QDRANT (quadrante). Os seguintes técnicos são usados

• QDRANT
• Fastembado
• Transformador de frases
• Distiluse-Base-multilingual-V1 (modelo)
  • Gera espaços vetoriais alinhados, ou seja, entradas semelhantes em diferentes idiomas são mapeadas próximas no espaço vetorial
  • 14 idiomas (incl. Nl)
• Quantização escalar (para tempo de inferência mais rápido e eficiência de memória)
  • 8 bits

Dados

Os dados foram raspados utilizando a API de raspador NRC, com um conjunto de categorias. O resultado é um conjunto de dados de itens de artigo NRC> 6500 e pedaços de artigos completos> 45000.

Instalação

 pip install -r requirements.txt

Uso

QDRANT

 http://localhost:6333

API

 http://localhost:8000

UI da web

 index.html

Swagger

 http://localhost:8000/docs