rag career portfolio querying

职业投资组合破布助理

一个检索功能的生成（RAG）系统，可实现自然语言查询存储在概念数据库中的职业投资组合数据。该系统使用LlamainDex和OpenAI的Embedding/LLM服务来提供有关工作经验，项目和技能的明智回答。

概述

该系统由两个主要组成部分组成：

1. ETL管道：从概念数据库中提取数据，将其处理到嵌入中，然后将其存储在矢量数据库中

2. 查询接口：一种简化的Web应用程序，可以与投资组合数据进行自然语言互动

关键功能

• 投资组合数据的智能自然语言查询
• 双索引体系结构（文本和关键字）用于改进的检索
• 实时响应流
• 调试面板以透明到抹布过程
• 样品查询以演示功能
• 可通过环境变量配置

项目结构

核心文件

• notion_data_etl.ipynb ：用于提取和处理概念数据的jupyter笔记本

  • 处理身份验证和数据库连接
  • 将文档处理为文本和关键字节点
  • 创建矢量指数以有效检索

• streamlit_app_rag.py ：主要Web应用程序接口

  • 实现RAG助手UI
  • 管理聊天历史记录和调试输出
  • 处理实时响应流

• prompts.py ：包含系统提示：

  • LLM的上下文设置
  • 关键字提取

关键组件

notionProcessor类

一个全面的数据处理类别：

• 从概念数据库中提取数据
• 手柄嵌套内容结构
• 处理文字和元数据
• 支持多种提取模式（标题，整个，颗粒状）

Ragapp类

主应用程序类：

• 管理简化界面
• 处理聊天互动
• 提供调试功能
• 维护会话状态

设置要求

环境变量

 NOTION_TOKEN=your_notion_api_token
NOTION_PROJECTS_DATABASE_ID=notion_database_id_for_projects
NOTION_EXPERIENCE_DATABASE_ID=notion_database_id_for_experiences
QDRANT_URL=your_qdrant_url
QDRANT_API_KEY=your_qdrant_api_key
OPENAI_API_KEY=your_openai_api_key

依赖性

• Python 3.10+
• Llamaindex
• Openai
• 简化
• QDRANT
• 概念API客户端

用法

1. 设置环境变量
2. 运行ETL笔记本以处理概念数据
3. 运行简化应用程序与数据进行交互

 streamlit run streamlit_app_rag.py

建筑学

系统使用双索引体系结构：

1. 文本索引：存储完整的内容以详细检索
2. 关键字索引：商店提取的关键字用于改进语义匹配

通过这两个索引处理查询，以提供全面而准确的响应。

调试功能

该系统包括一个全面的调试面板，显示：

• 查询处理步骤
• 检索过程详细信息
• 响应产生
• 任何错误或警告