RAG based Intelligent Conversational AI Agent for Knowledge Extraction Using LangChain Gemini LLM

ラグベースのインテリジェントな会話型AIエージェントLangchainGeminiLLMを使用した知識抽出のためのエージェント

上記のGoogle Colabには詳細なコードが含まれています

検索された生成（RAG）は、情報検索と生成AIを組み合わせたフレームワークです。モデルは、外部ソースまたはデータベースから関連情報を取得し、そのデータを使用してより正確でコンテキストに関連する応答を生成することができます。検索と生成の両方を活用することにより、RAGはAIモデルの精度と信頼性を改善し、特に最新の情報を提供したり、複雑な質問を処理したりします。

ワークフロー

このプロジェクトは、PDFドキュメントから知識を抽出するために検索された生成（RAG）を活用するAIベースの会話アシスタントを提供します。このシステムは、テキストの埋め込み、ベクトル検索、およびLLMを組み合わせて、ユーザーの質問への回答を提供します。以下は、アプリケーションの動作方法の詳細な段階的なワークフローです。

1。PDFドキュメントのアップロード

• ユーザーは、ノートブックに記載されているパスにPDFファイルをアップロードします。アップロードされたファイルは、 pdfplumberを使用してテキストを抽出するように処理されます。PDFSからテキストを抽出するためのPythonライブラリです。

2。テキスト抽出

• ノートブックは、 pdfplumberライブラリを使用して、アップロードされたPDFから生のテキストを抽出します。ドキュメントの各ページは解析され、結果のテキストはさらに処理するために準備されています。

3。テキストチャンキング

• 抽出されたテキストは、 RecursiveCharacterTextSplitterを使用して小さなチャンクに分割されます。これにより、コンテンツは埋め込みと検索に対応し、通常は500文字のチャンクサイズと50文字のオーバーラップで管理できます。

4。埋め込み生成

• チャンクされたテキストは、 SpacyEmbeddingsを使用して数値埋め込みに変換されます。これらの埋め込みは、チャンクの意味的な意味を表し、効率的な検索を可能にします。

5。クロマ付きベクトルストア

• ベクトルデータベースは、埋め込みが保存されているChromaライブラリを使用して作成されます。ベクトルデータベースにより、ユーザークエリに基づいて関連情報を高速かつ効率的に取得できます。

6。会話検索チェーン

• ConversationalRetrievalChainは、 LangChainを使用して確立され、Chromaに保存されている埋め込みと会話のメモリバッファーを組み合わせて、チャットの履歴とコンテキストを追跡します。

7。LLM相互作用

• ノートブックは、 ChatGoogleGenerativeAI （GoogleのGemini LLM）を統合して、Vectorストアから取得したテキストの塊に基づいて、ユーザーの質問に関連するインテリジェントな応答を生成します。

8。ユーザークエリとAI応答

• ユーザーはアップロードされたPDFドキュメントに関する質問を入力でき、システムはベクターストアから最も関連性の高いチャンクを取得し、LLMを使用して回答を生成することで応答します。会話の履歴は、コンテキストのために保存されています。

9。会話履歴の表示

• この機能は、ユーザーが会話履歴を表示できる拡張可能なセクションです。この透明性により、ユーザーは過去のクエリと応答を再訪し、相互作用のコンテキストと流れのより良い理解を促進することができます。

プロセスのぼろきれの流れ

重要性

1. 効率的な知識検索：RAGの力を活用することにより、システムは検索と生成を組み合わせて、アップロードされたPDFドキュメントの内容に基づいて特定の質問に正確に回答します。

2. スケーラビリティと柔軟性：テキストチャンキングと埋め込みにより、アプリは高速かつ正確な情報検索を保証しながら、大きなドキュメントを処理できます。

3. 会話AI ：会話履歴メモリは、以前の質問と回答を追跡し、長い会話を維持するため、システムをよりインタラクティブにします。

4. 最新のAIツールの統合：このプロジェクトは、ベクターストレージのためのChroma 、会話管理のためのLangChain 、GoogleのGemini LLMなど、人間のような回答を生成するためのGoogleのGemini LLMの使用を示しています。