rag career portfolio querying

職業投資組合破布助理

一個檢索功能的生成（RAG）系統，可實現自然語言查詢存儲在概念數據庫中的職業投資組合數據。該系統使用LlamainDex和OpenAI的Embedding/LLM服務來提供有關工作經驗，項目和技能的明智回答。

概述

該系統由兩個主要組成部分組成：

1. ETL管道：從概念數據庫中提取數據，將其處理到嵌入中，然後將其存儲在矢量數據庫中

2. 查詢接口：一種簡化的Web應用程序，可以與投資組合數據進行自然語言互動

關鍵功能

• 投資組合數據的智能自然語言查詢
• 雙索引體系結構（文本和關鍵字）用於改進的檢索
• 實時響應流
• 調試面板以透明到抹布過程
• 樣品查詢以演示功能
• 可通過環境變量配置

項目結構

核心文件

• notion_data_etl.ipynb ：用於提取和處理概念數據的jupyter筆記本

  • 處理身份驗證和數據庫連接
  • 將文檔處理為文本和關鍵字節點
  • 創建矢量指數以有效檢索

• streamlit_app_rag.py ：主要Web應用程序接口

  • 實現RAG助手UI
  • 管理聊天歷史記錄和調試輸出
  • 處理實時響應流

• prompts.py ：包含系統提示：

  • LLM的上下文設置
  • 關鍵字提取

關鍵組件

notionProcessor類

一個全面的數據處理類別：

• 從概念數據庫中提取數據
• 手柄嵌套內容結構
• 處理文字和元數據
• 支持多種提取模式（標題，整個，顆粒狀）

Ragapp類

主應用程序類：

• 管理簡化界面
• 處理聊天互動
• 提供調試功能
• 維護會話狀態

設置要求

環境變量

 NOTION_TOKEN=your_notion_api_token
NOTION_PROJECTS_DATABASE_ID=notion_database_id_for_projects
NOTION_EXPERIENCE_DATABASE_ID=notion_database_id_for_experiences
QDRANT_URL=your_qdrant_url
QDRANT_API_KEY=your_qdrant_api_key
OPENAI_API_KEY=your_openai_api_key

依賴性

• Python 3.10+
• Llamaindex
• Openai
• 簡化
• QDRANT
• 概念API客戶端

用法

1. 設置環境變量
2. 運行ETL筆記本以處理概念數據
3. 運行簡化應用程序與數據進行交互

 streamlit run streamlit_app_rag.py

建築學

系統使用雙索引體系結構：

1. 文本索引：存儲完整的內容以詳細檢索
2. 關鍵字索引：商店提取的關鍵字用於改進語義匹配

通過這兩個索引處理查詢，以提供全面而準確的響應。

調試功能

該系統包括一個全面的調試面板，顯示：

• 查詢處理步驟
• 檢索過程詳細信息
• 響應產生
• 任何錯誤或警告