news article vector search

⚡️ 빠른 NRC 검색을 실행합니다

[실험]

이 repo의 목적은 다국어 LLM 및 Qdrant (Quadrant) 벡터 DB를 사용하여 타오르는 빠른 시맨틱 신경 검색을 구축하는 것입니다. 다음 기술이 사용됩니다

• qdrant
• 금속
• 문장 변압기
• Distiluse-Base-Multingual-Cased-V1 (모델)
  • 정렬 된 벡터 공간을 생성합니다. 즉, 다른 언어의 유사한 입력이 벡터 공간에서 가까이 매핑됩니다.
  • 14 개 언어 (NL 포함)
• 스칼라 양자화 (더 빠른 추론 시간 및 메모리 효율)
  • 8 비트

데이터

카테고리 세트가 주어진 NRC 스크레이퍼 API를 사용하여 데이터를 긁어 냈습니다. 결과는 전체 기사> 45000의 NRC 기사 항목> 6500 및 청크의 데이터 세트입니다.

설치

 pip install -r requirements.txt

용법

qdrant

 http://localhost:6333

API

 http://localhost:8000

웹 UI

 index.html

멋진

 http://localhost:8000/docs