rag career portfolio querying

キャリアポートフォリオRAGアシスタント

概念データベースに保存されているキャリアポートフォリオデータの自然言語のクエリを可能にする検索された生成（RAG）システム。このシステムは、LlamaindexとOpenaiのEmbedding/LLMサービスを使用して、実務経験、プロジェクト、スキルに関するインテリジェントな対応を提供します。

概要

このシステムは、2つの主要なコンポーネントで構成されています。

1. ETLパイプライン：概念データベースからデータを抽出し、埋め込みに処理し、ベクターデータベースに保存します

2. クエリインターフェイス：ポートフォリオデータとの自然言語の相互作用を可能にする流線のWebアプリケーション

重要な機能

• ポートフォリオデータのインテリジェントな自然言語クエリ
• 検索を改善するためのデュアルインデックスアーキテクチャ（テキストとキーワード）
• リアルタイム応答ストリーミング
• RAGプロセスへの透明性のデバッグパネル
• サンプルクエリに機能を実証します
• 環境変数を介して構成可能

プロジェクト構造

コアファイル

• notion_data_etl.ipynb ：抽出および処理のためのjupyterノートブック概念データ

  • 認証とデータベース接続を処理します
  • ドキュメントをテキストとキーワードノードに処理します
  • 効率的な検索のためにベクトルインデックスを作成します

• streamlit_app_rag.py ：メインWebアプリケーションインターフェイス

  • RAGアシスタントUIを実装します
  • チャット履歴とデバッグ出力を管理します
  • リアルタイム応答ストリーミングを処理します

• prompts.py ：以下のシステムプロンプトが含​​まれています

  • LLMのコンテキスト設定
  • キーワード抽出

重要なコンポーネント

概念プロセッサクラス

包括的なデータ処理クラス：

• 概念データベースからデータを抽出します
• ネストされたコンテンツ構造を処理します
• テキストとメタデータを処理します
• 複数の抽出モード（ヘッダー、全体、粒状）をサポートします

ラガップクラス

メインアプリケーションクラス：

• retrylitインターフェイスを管理します
• チャットインタラクションを処理します
• デバッグ機能を提供します
• セッション状態を維持します

セットアップ要件

環境変数

 NOTION_TOKEN=your_notion_api_token
NOTION_PROJECTS_DATABASE_ID=notion_database_id_for_projects
NOTION_EXPERIENCE_DATABASE_ID=notion_database_id_for_experiences
QDRANT_URL=your_qdrant_url
QDRANT_API_KEY=your_qdrant_api_key
OPENAI_API_KEY=your_openai_api_key

依存関係

• Python 3.10+
• llamaindex
• Openai
• 流線
• qdrant
• 概念APIクライアント

使用法

1. 環境変数を設定します
2. ETLノートブックを実行して概念データを処理します
3. データと対話するために、remollitアプリを実行します

 streamlit run streamlit_app_rag.py

建築

システムは、デュアルインデックスアーキテクチャを使用します。

1. テキストインデックス：詳細な検索のために完全なコンテンツを保存します
2. キーワードインデックス：セマンティックマッチングを改善するために抽出されたキーワードを抽出します

クエリは両方のインデックスを介して処理され、包括的かつ正確な応答を提供します。

デバッグ機能

システムには、次のことを示す包括的なデバッグパネルが含まれています。

• クエリ処理手順
• 検索プロセスの詳細
• 応答生成
• エラーまたは警告