rag career portfolio querying

커리어 포트폴리오 래그 어시스턴트

개념 데이터베이스에 저장된 커리어 포트폴리오 데이터의 자연어 쿼리를 가능하게하는 RAG (Resprieved-Augmented Generation) 시스템. 이 시스템은 Llamaindex 및 OpenAI의 임베딩/LLM 서비스를 사용하여 업무 경험, 프로젝트 및 기술에 대한 지적 반응을 제공합니다.

개요

이 시스템은 두 가지 주요 구성 요소로 구성됩니다.

1. ETL 파이프 라인 : 개념 데이터베이스에서 데이터를 추출하고 임베딩으로 처리하고 벡터 데이터베이스에 저장합니다.

2. 쿼리 인터페이스 : 포트폴리오 데이터와 자연 언어 상호 작용을 가능하게하는 간단한 웹 애플리케이션

주요 기능

• 포트폴리오 데이터의 지능형 자연어 쿼리
• 개선 된 검색을위한 이중 인덱스 아키텍처 (텍스트 및 키워드)
• 실시간 응답 스트리밍
• 헝겊 프로세스로의 투명성을위한 디버그 패널
• 기능을 보여주기위한 샘플 쿼리
• 환경 변수를 통해 구성 가능합니다

프로젝트 구조

핵심 파일

• notion_data_etl.ipynb : 개념 데이터 추출 및 처리를위한 Jupyter 노트북

  • 인증 및 데이터베이스 연결을 처리합니다
  • 문서를 텍스트 및 키워드 노드로 처리합니다
  • 효율적인 검색을위한 벡터 지수를 만듭니다

• streamlit_app_rag.py : 기본 웹 응용 프로그램 인터페이스

  • Rag Assistant UI를 구현합니다
  • 채팅 기록 및 디버그 출력을 관리합니다
  • 실시간 응답 스트리밍을 처리합니다

• prompts.py : 시스템 프롬프트를 포함합니다.

  • LLM의 컨텍스트 설정
  • 키워드 추출

주요 구성 요소

NotionProcessor 클래스

포괄적 인 데이터 처리 클래스 :

• 개념 데이터베이스에서 데이터를 추출합니다
• 중첩 된 컨텐츠 구조를 처리합니다
• 텍스트 및 메타 데이터를 처리합니다
• 다중 추출 모드를 지원합니다 (헤더, 전체, 세분화)

ragapp 클래스

주요 응용 프로그램 클래스 :

• 유선형 인터페이스를 관리합니다
• 채팅 상호 작용을 처리합니다
• 디버깅 기능을 제공합니다
• 세션 상태를 유지합니다

설정 요구 사항

환경 변수

 NOTION_TOKEN=your_notion_api_token
NOTION_PROJECTS_DATABASE_ID=notion_database_id_for_projects
NOTION_EXPERIENCE_DATABASE_ID=notion_database_id_for_experiences
QDRANT_URL=your_qdrant_url
QDRANT_API_KEY=your_qdrant_api_key
OPENAI_API_KEY=your_openai_api_key

의존성

• 파이썬 3.10+
• llamaindex
• Openai
• 간소
• qdrant
• 개념 API 클라이언트

용법

1. 환경 변수를 설정하십시오
2. 개념 데이터를 처리하려면 ETL 노트북을 실행하십시오
3. 데이터와 상호 작용하려면 간단한 앱을 실행하십시오

 streamlit run streamlit_app_rag.py

건축학

이 시스템은 이중 인덱스 아키텍처를 사용합니다.

1. 텍스트 색인 : 자세한 검색을 위해 전체 콘텐츠를 저장합니다
2. 키워드 색인 : Semantic Matching 개선을위한 추출 된 키워드 상점

쿼리는 두 지수를 통해 처리되어 포괄적이고 정확한 응답을 제공합니다.

디버그 기능

이 시스템에는 다음과 같은 포괄적 인 디버그 패널이 포함되어 있습니다.

• 쿼리 처리 단계
• 검색 프로세스 세부 사항
• 응답 생성
• 모든 오류 또는 경고