chat_with_your_docs

タイトル	絵文字	色から	コロルト	SDK	sdk_version	app_file	ピン留め	ライセンス
ドキュメントとチャットします		青	グレー	グラデーション	4.41.0	app.py	間違い	mit

ドキュメントとチャットします

導入

---

ChatWithYourdocsチャットアプリは、PDF、Webページ、YouTubeビデオなどの複数のドキュメント形式とチャットできるPythonアプリケーションです。自然言語を使用してPDFについて質問することができ、アプリケーションはドキュメントのコンテンツに基づいて関連する回答を提供します。このアプリは、言語モデルを使用して、クエリに対する正確な回答を生成します。アプリは、ロードされたドキュメントに関連する質問にのみ応答することに注意してください。

それがどのように機能するか

---

アプリケーションは、これらの手順に従って、質問への回答を提供します。

1. ドキュメントの読み込み：アプリは複数のドキュメントタイプを読み取り、テキストコンテンツを抽出します。

2. テキストチャンキング：抽出されたテキストは、効果的に処理できる小さなチャンクに分割されます。

3. 言語モデル：アプリケーションは言語モデルを使用して、テキストチャンクのベクトル表現（埋め込み）を生成します。

4. 類似性マッチング：質問をすると、アプリはそれをテキストチャンクと比較し、最も意味的に類似したものを識別します。

5. 応答生成：選択したチャンクは言語モデルに渡され、ドキュメントの関連コンテンツに基づいて応答を生成します。

依存関係とインストール

---

Docsアプリでチャットをインストールするには、次の手順に従ってください。

1. Ollama Libraryをダウンロードしてください

    curl https://ollama.ai/install.sh | sh
   

2. 使用するチャットモデルを引く、この場合はllama2、mistral、gemmaを使用します

    ollama pull llama2
   

    ollama pull mistral
   

    ollama pull gemma
   

3. Python 3.9を使用して新しい環境を作成してアクティブ化します。この場合、Condaを使用します

    conda create -n cwd python=3.9
   

    conda activate cwd
   

4. リポジトリをローカルマシンにクローンします。

    git clone https://github.com/jorge-armando-navarro-flores/chat_with_your_docs.git
   

    cd chat_with_your_docs
   

5. 次のコマンドを実行して、必要な依存関係をインストールします。

    pip install -r requirements.txt
   

6. YouTubeビデオのFFMPEGをインストールしてください：

    sudo apt-get install ffmpeg
   

使用法

---

Docsアプリでチャットを使用するには、次の手順に従ってください。

1. Streamlit CLIを使用してmain.pyファイルを実行します。次のコマンドを実行します。

    python3 main.py
   

2. アプリケーションは、デフォルトのWebブラウザで起動し、ユーザーインターフェイスを表示します。

建築

クラス：

• LLM：この抽象クラスは、さまざまなLLM実装の青写真として機能します。特定のLLMプロバイダー（Ollama、Openai、Hugging Face）を処理するOllamaModel 、 OpenAIModel 、 HFModelなどのサブクラスがあります。
• ドキュメント：このクラスは、PDF、Webページ、YouTubeビデオなどのさまざまなソースからのドキュメントの読み込みを管理しています。
• VectorStore：このクラスは、LLMエンミングを使用して効率的な検索を使用してドキュメントのベクトル表現を作成します。
• チェーン：このクラスでは、チャットボットの処理パイプラインを定義します。これは、会話の履歴に基づいてドキュメントを検索する基本的な質問応答や検索チェーンのシンプルなチェーンになる可能性があります。
• チャットボット：このクラスは、ユーザーインタラクションを処理し、会話履歴を維持し、適切なチェーンメソッドを呼び出して応答を生成します。
• ChatBotController：このクラスは、ユーザーのメインインターフェイスです。 LLMモデル、ドキュメントソース、および検索オプションを設定できます。また、ユーザークエリを処理し、チャットボットインスタンスと対話します。

機能：

1. セットアップ：

   • ユーザーは、LLMプロバイダー（Ollama、Openai、またはHuggingface）を選択し、ドロップダウンメニューからモデルを選択します。オプションで、特定のプロバイダーにはAPIキーが必要になる場合があります。
   • ユーザーは、検索タスクのためにドキュメント（PDF、WebページURL、またはYouTubeビデオURL）を追加することを選択できます。

2. 処理：

   • 選択したLLMとドキュメント（ある場合）に基づいて、コントローラーは処理チェーンを構成します。
   • 単純なチェーンは、ドキュメントの検索なしで基本的な質問に答えるために使用されます。
   • 検索チェーンには以下が含まれます。
     • LLMの埋め込みを使用してドキュメントのベクトル表現を作成します。
     • 会話履歴に基づいて検索クエリを生成するためのプロンプトを定義します。
     • 生成されたクエリに基づいて関連するドキュメントを取得します。
     • 検索されたドキュメントを使用して、ユーザーの質問に答えます。

3. 交流：

   • ユーザーは、チャットインターフェイスで質問を入力します。
   • コントローラーは、チャットボットのpredict方法を呼び出し、ユーザーのクエリと会話履歴を渡します（検索が有効になっている場合）。
   • チャットボットは、選択したチェーン構成に基づいて適切な応答を取得します。

追加機能：

• インターフェイスには、「元に戻す」および「クリア」な会話履歴のボタンが含まれています。

全体として、このコードは、さまざまなLLMを活用し、強化された機能のためにドキュメント取得を組み込むことができるチャットボット用のよく構造化されたアーキテクチャを示しています。