AI_Powered_Chat_bot_with_message_history

PDFのアップロードとチャット履歴を使用した会話のぼろきれ

このプロジェクトは、ユーザーがPDFファイルをアップロードし、コンテンツを抽出し、アップロードされたコンテンツについて質問することを可能にする会話の検索上位生成（RAG）システムです。システムはチャット履歴を追跡し、過去の会話に基づいてユーザーの質問をコンテキスト化して、関連する回答を提供します。

このアプリケーションは、ユーザーインターフェイス用のStreemidで構築され、LLM（Language Model）用のGROQとChromaをベクトルストアとして統合して、ドキュメントの埋め込みと検索を処理します。会話の流れは、ステートフルな質問をすることを可能にするためにチャット履歴で維持されます。

特徴

• PDFアップロード：ユーザーは複数のPDFファイルをアップロードでき、コンテンツは処理およびインデックス付けされます。
• 質問の回答：アップロードされたPDFドキュメントについて質問すると、アシスタントはコンテンツに基づいて回答します。
• チャット履歴：過去の質問と回答を追跡して、将来のクエリをコンテキスト化します。
• GROQとの統合：言語モデリングと応答生成にGROQ APIを利用します。
• 埋め込み： HuggingFaceEmbeddingsを使用して、ドキュメントの埋め込みを作成し、関連するコンテンツを取得します。

要件

このプロジェクトを実行するには、次のことが必要です。

• Python 3.7+
• GROQ APIキー
• Huggingface APIトークン

インストール

1. リポジトリをクローンします：

   git clone https://github.com/yourusername/conversational-rag-with-pdf.git
   cd conversational-rag-with-pdf

2. 仮想環境を作成します：

   python3 -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`

3. 必要な依存関係をインストールします。

   pip install -r requirements.txt

4. 環境変数の設定：

   ルートディレクトリに.envファイルを作成し、APIキーを追加します。

   touch .env

   .envファイル内で、次を追加します。

   HF_TOKEN=your_huggingface_token
   GROQ_API_KEY=your_groq_api_key

5. アプリケーションを実行します：

   streamlit run utils.py

使用法

ステップ1：GROQ APIキーを入力します

アプリを起動するときは、最初にGROQ APIキーを入力する必要があります。これは、言語モデリングと質問応答を実行するために必要です。

ステップ2：PDFをアップロードします

[PDFファイル]ボタンを選択して、1つ以上のPDFファイルをアップロードします。 PDFSのコンテンツは処理され、効率的な検索のためにチャンクに分割されます。

ステップ3：質問します

PDFをアップロードした後、アップロードされたファイルのコンテンツに関連する質問をすることができます。アシスタントは、PDFSが提供するコンテキストと以前のチャット履歴に基づいて回答します。

ステップ4：チャット履歴を管理します

システムは会話の履歴を追跡します。セッションの履歴を表示でき、アシスタントはこの履歴を使用して、コンテキストでフォローアップの質問に答えます。

例のウォークスルー：

1. アプリを起動して、 GROQ APIキーを入力します。
2. 尋ねたいコンテンツを含むPDFをアップロードします。
3. 「第3章の概要は何ですか？」などの入力フィールドに質問を入力します。
4. アシスタントは、アップロードされたPDFコンテンツに基づいて応答し、簡潔な回答を提供します。
5. フォローアップの質問をすると、システムは過去の会話を使用して、コンテキスト認識の回答を提供します。

重要なコンポーネント

• Restream -Lit ：ユーザーインターフェイスとフォームインタラクションを提供します。
• Chroma ：Bector Storeとして使用して、検索用に分割PDFドキュメントの埋め込みを保存します。
• GROQ API ： Gemma2-9b-Itモデルを使用して、質問を回答するタスクを処理します。
• Langchain ：Chat Historyの処理とともに、検索とドキュメントの組み合わせプロセスを管理します。

将来の改善

• 他のドキュメントタイプ（単語、テキストファイルなど）のサポートを追加します。
• より良いユーザーインタラクションのためにUIを改善します。
• 英語以外のドキュメントの多言語サポートを追加します。
• セッション全体でチャット履歴を保存およびロードするためのシステムを実装します。

トラブルシューティング

APIキーエラーやファイルアップロードの問題などの問題が発生した場合は、次のことを確認してください。

• 有効なGROQ APIキーと抱き合ったフェイストークンがあります。
• アップロードされたPDFは有効であり、PypDFLoaderで読み取ることができます。
• すべての依存関係は、 pip install -r requirements.txtを介して正しくインストールされます。

謝辞

• 驚くべき検索およびLLM統合フレームワークのためのLangchain。
• 使いやすいUIフレームワークを提供するための流線。