document assistant

Ashによるドキュメントアシスタント

このPythonアプリケーションは、ユーザークエリへの応答を生成するために、Streamlit、Pinecone（Vector Store）、およびLanguage Model（OpenAI）を使用して、シンプルなドキュメントアシスタントを作成します。

html形式でドキュメントをダウンロードするコマンド

wget --mirror --convert-links --adjust-extension --page-requisites --no-parent -P langchain-docs --execute robots=off --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36" https://api.python.langchain.com/en/latest/

1。main.py

このスクリプトは、Streamlitを使用してWebアプリケーションを作成します。ドキュメント支援用のユーザーインターフェイスを提供し、ユーザーが質問を送信し、ソースを含む回答を受け取ることができます。

重要な機能

• Streemlit Interface：入力フィールドやセッション管理を含むUIにRestreamLitを使用します。
• ソースURLソート：URLのセットを取得し、並べ替え、番号付きリストとしてフォーマットする関数Create_Sources_Stringが含まれます。

2。Ingestion.py

このスクリプトは、おそらく機械学習または検索アプリケーションのドキュメントの摂取と処理を担当しています。環境変数とPineconeというサービスを使用したインターフェイスを使用します。

重要な機能

• ドキュメントの読み込みと分割：指定されたソースからドキュメントをロードし、それらをチャンクに分割します。
• Pinecone Integration：ドキュメントベクターをPinecone Vectorストアに挿入します。

3。core.py

このファイルは、検索システムを使用して言語モデルクエリを実行するためのコア関数を定義します。ベクトルの保管と検索のために、Pineconeと密接に統合されているようです。

重要な機能

• 環境構成：環境変数をロードします。
• クエリ処理：言語モデルとドキュメントレトリバーを使用して会話型チェーンを使用してクエリを処理する関数run_llmを提供します。