doc talk

Doctalk？

Doctalkは、自然言語クエリを使用して、ユーザーがドキュメント（PDF、DOCX、TXT）をアップロードして対話できるための流線ベースのWebアプリケーションです。アプリケーションは、クエリの検証とチャットのためにOpenaiのGPT-4O-MINIモデルを活用し、アップロードされたドキュメントのコンテンツに基づいてユーザークエリを理解して応答するために、テキスト埋め込み-3-Smallを活用します。

特徴

• ドキュメントのアップロードとプロセス：テキスト抽出と処理のためにPDF、DOCX、およびTXTファイルをアップロードします。
• カスタムチャンキングとトークンカウント：コンテキストの検索と応答の生成を改善するためのドキュメントのカスタムチャンキング。 NLTKの文トークンザーを使用して文書をトークン化し、その後、TikTokenを使用してチャンクサイズを管理するトークンカウントが続きます。
• ドキュメントとのチャット：アップロードされたドキュメントについて質問し、コンテキスト認識の回答を受け取ります。
• コンテキスト検索のコサインの類似性：コサインの類似性を利用して、ユーザークエリに応じて最も関連性の高いドキュメントチャンクを見つけます。
• クエリ検証：セカンダリAPI呼び出しを使用して、クエリにドキュメントコンテキストが必要な場合に検証し、最終的にトークンを保存してコストを削減します。
• Simple App PassCode認証：アプリへのアクセスは、パスコードによって保護され、認定ユーザーのみがドキュメントと対話できるようにします。

インストール

1. リポジトリをクローンします：

   git clone https://github.com/kmaurinjones/doc-talk.git
   cd doc-talk

2. 仮想環境を作成します（オプションですが推奨）：

   python3 -m venv env
   source env/bin/activate

3. 必要なパッケージをインストールします。

   pip install -r requirements.txt

環境変数

プロジェクトのルートに.envファイルを作成し、次の環境変数を追加します。

 SIMPLE_AUTH_PASSCODE=your_passcode
OPENAI_API_KEY=your_openai_api_key

ローカルで実行されます

アプリケーションをローカルに実行するには、次のコマンドを使用します。

streamlit run app.py

これにより、Streamlitサーバーが開始され、 http://localhost:8501でアプリにアクセスできます。

展開されたアプリにアクセスします

アプリケーションも展開され、次のURLからアクセスできます：Doctalk Deployment

使用法

1. ドキュメントのアップロード：アプリのファイルアップローダーを使用して、PDF、DOCX、またはTXTファイルをアップロードします。
2. ドキュメントのプロセス：[プロセスドキュメント]ボタンをクリックして、アップロードされたファイルからテキストを抽出して処理します。
3. ドキュメントでチャット：チャット入力を使用して、アップロードされたドキュメントのコンテンツについて質問します。アプリは、ドキュメントからの処理されたテキストとコンテキストに基づいて回答を提供します。

例

使用中のDoctalkアプリケーションのスクリーンショットを次に示します。

シンプルなパスコードユーザー認証

ドキュメントのアップロードと処理

クエリと応答のコンテキスト

貢献

貢献は大歓迎です！問題を開くか、改善またはバグ修正のためのプルリクエストを送信してください。

ライセンス

このプロジェクトは、MITライセンスの下でライセンスされています。詳細については、 LICENSEファイルを参照してください。

接触

質問や問題については、[email protected]までご連絡ください。