news article vector search

⚡ быстрое поиск в NRC

[Экспериментальный]

Целью этого репо является создание быстрого быстрого семантического нейронного поиска с использованием многоязычного вектора LLM и Qdrant (квадрант). Используются следующие технологии

• Qdrant
• Быстро
• Предложение трансформатор
• Diviluse-Base-MultingLyringual-C-V1 (модель)
  • генерирует выровненные векторные пространства, то есть аналогичные входы на разных языках на карту сочетаются в векторном пространстве
  • 14 языков (включая NL)
• Скалярная квантование (для более быстрого времени вывода и эффективности памяти)
  • 8-битный

Данные

Данные были сохранены с использованием API скребка NRC с учетом набора категорий. Результатом является набор данных элементов статьи NRC> 6500 и кусков из полных статей> 45000.

Установка

 pip install -r requirements.txt

Использование

Qdrant

 http://localhost:6333

API

 http://localhost:8000

веб -интерфейс

 index.html

чванство

 http://localhost:8000/docs