news article vector search

hubazyablazing fast nrc検索

[実験]

このレポの目的は、多言語LLMおよびQDRANT（QUADRANT）ベクターDBを使用して、燃えるような高速セマンティックニューラル検索を構築することです。次の技術が使用されます

• qdrant
• 断定
• 文変圧器
• 蒸留中の老化 - マルチリンシル型-V1（モデル）
  • アライメントされたベクトル空間、つまり、異なる言語の同様の入力がベクトル空間で近くにマッピングされます
  • 14言語（NLを含む）
• スカラー量子化（より速い推論時間とメモリ効率のため）
  • 8ビット

データ

データは、一連のカテゴリが与えられたNRCスクレーパーAPIを利用することにより削減されました。その結果、NRCの記事項目> 6500のデータセットと、45000> 45000の完全なチャンクが生まれました。

インストール

 pip install -r requirements.txt

使用法

qdrant

 http://localhost:6333

API

 http://localhost:8000

Web UI

 index.html

sw歩

 http://localhost:8000/docs