LLM_NER_and_Branching_Hybrid_Search_ChatbotダウンロードLLM_NER_and_Branching_Hybrid_Search

LLM_NER_and_Branching_Hybrid_Search_Chatbot

その他のソースコード

1.0.0

ダウンロード

ner-and-hybrid-search-ai-chatbot

LLMおよびVectorデータベースを使用した名前の認識と関係マッピングの例。抽出された関係を利用するためのハイブリッド検索チャットボット。

ハイブリッド検索では、ソースエンティティとターゲットエンティティの両方を検索し、従来のぼろよりも検索能力が向上します。このアプローチにより、同じ暗黙の意味的な意味が返されない可能性のある関連する思い出が可能になります。ここで使用される方法は単純なバージョンですが、追加のコンテキストの長さを犠牲にして、継続的なネストされたアプローチを使用できます。

もともとは私のAetherius AIアシスタントプロジェクトのソリューションとして作られていましたが、LLMSが小さいことで確実に機能することはありませんでした。

メインAIアシスタントプロジェクト：https：//github.com/libraryofcelsus/aetherius_aisistant

ベクトルデータベース：https：//github.com/qdrant/qdrant

Changelog

2/19 Tesseractを使用するためにPDF読み取りを変更しました
2/18 CSV出力を追加しました

インストール

Python 3.10.6をインストールして、パスに追加してください：https：//www.python.org/downloads/Release/python-3106/
gitのインストール：https：//git-scm.com/（GITは、グリーンコードボタンの下でzipファイルとしてレポをダウンロードすることでスキップできます）
OCRのTesserActをインストール：https：//github.com/ub-mannheim/tesseract/wikiインストールしたら、プログラムファイルからメインプロジェクトフォルダーに「Tesseract-ocr」フォルダーをコピーします。代わりに、初期インストールでプロジェクトフォルダーの「Tesseract-ocr」という名前のフォルダーに直接インストールすることもできます。
QDRANTクラウドを使用して、APIキーとURLをsettings.jsonのそれぞれのキーにコピーします。 QDRANTクラウド：https：//qdrant.to/cloud
ローカルqdrantサーバーを使用するには、最初にdocker：https：//www.docker.com/をインストールする
今すぐ実行：Docker Pull QDrant/QDrant：V1.5.1 in CMD
次の実行：Docker Run -P 6333：6333 QDRANT/QDRANT：V1.5.1
ローカルQDRANTサーバーが実行されたら、チャットボットによって自動検出される必要があります。（参照：https：//docs.docker.com/desktop/backup-and-restore/
管理者としてCMDを開きます
gitクローンを実行： git clone https://github.com/libraryofcelsus/ner-and-hybrid-search-ai-chatbot.git
プロジェクトフォルダーに移動する：CD PATH_TO_CHATBOT_INSTALL
仮想環境を作成：Python -M Venv Venv
環境をアクティブにします：。 venv scripts activate
必要なパッケージのインストール：PIPインストール-R Reportions.txt
「settings.json」で設定を編集する
チャットボットを使用するには、「hybrid_search_example.py」を実行します。「extract_relation_from_file.py」を実行して、アップロードフォルダーから関係を抽出します。