efficient document search and summarization engine

効率的なドキュメント検索および要約エンジン

概要

効率的なドキュメント検索および要約エンジンは、 ChatGptやLlamaなどの高度な大規模な言語モデル（LLM）を統合することにより、研究効率と明確さを強化するために設計された強力なツールです。このプロジェクトは、最先端のテクノロジーを活用して、シームレスで効率的なドキュメント検索と要約体験を提供します。

特徴

• LLM統合：主要なLLMを利用して研究結果を要約し、研究生産の効率と明確さを高めます。
• RESTFUL API ：ドキュメントとクエリの取得に堅牢なAPIを提供し、最適化された正確な検索結果を確保します。
• ベクトルデータベース：効率的なストレージと検索のためにベクトルデータベースを実装し、検索パフォーマンスを改善します。
• 高度なアルゴリズム：コサインの類似性とK-meansクラスタリングを適用して、正確なテキスト抽出とクエリマッチングを確保します。

使用されたテクノロジー

• Python ：開発のためのコアプログラミング言語。
• FASTAPI ：RESTFUL APIを構築するためのフレームワーク。
• Langchain ：言語モデルを統合するためのツールチェーン。
• MongoDB ：ドキュメントとメタデータを保存するためのデータベース。
• Pinecone ：最適化されたクエリストレージと検索用のベクトルデータベース。

インストール

プロジェクトをローカルに設定するには、次の手順に従ってください。

1. リポジトリをクローンします：

   git clone https://github.com/mananjain02/efficient-document-search-and-summarization-engine.git
   cd efficient-document-search-and-summarization-engine

2. 仮想環境を作成します：

   python -m venv venv
   source venv/bin/activate

3. 依存関係をインストールします：

   pip install -r requirements.txt

4. 環境変数の設定：ルートディレクトリに.envファイルを作成し、構成設定を追加します。

    MONGODB_URL = <mongo-db-uri>
   SECRET_KEY = <bcrypt-key>
   ALGORITHM = " HS256 "
   DATABASE = <database-name>
   EMBEDDINGS_MODEL = " BAAI/bge-large-en-v1.5 "
   VECTOR_DATABASES_FOLDER = " vector_databases "
   OPENAI_API_KEY = <open-ai-key-if-want-to-use-chatgpt>
   TOKENIZERS_PARALLELISM = " False "

5. アプリケーションを実行します：

   uvicorn main:app --reload

使用法

APIドキュメント

APIドキュメントと詳細については、Swaggerを使用してアクセスできます。アプリケーションが実行されたら、 http://localhost:8000/docsに移動して、APIエンドポイントを調査および対話します。