Doc Quest

DocQuest? : 사내 검색 세대 (RAG) 시스템

오프라인 환경에서 사내 패키지를 관리하는 동안 데이터 과학 팀에 맞춤형 참조가 풍부한 출력을 제공하기 위해 RAG 시스템을 설계하고 최적화 할 수 있습니까?

더 나누기 위해 :

• 참고 문헌을 통한 맞춤형 출력 : RAG 시스템이 컨텍스트 별 정보를 활용하여 데이터 과학자를위한 맞춤형 출력을 생성하는 방법을 조사합니다. 생성 된 컨텐츠에 정확하고 관련성있는 참조를 포함하는 방법을 탐색하십시오.
• 사내 오프라인 시스템 : 오프라인 환경에서 RAG 시스템을 배포하는 기술적 요구 사항 및 제약 조건을 검사합니다. 인터넷 연결없이 데이터 저장, 처리 및 모델 업데이트와 관련된 문제를 평가하십시오.
• 사내 패키지 관리 : RAG 시스템 내에서 독점 데이터 과학 패키지를 통합하고 관리하기위한 전략 분석. 호환성 문제, 버전 제어 및 종속성 관리를 조사하여 원활한 작동 및 통합을 보장하십시오.

개요 :

DocQuest는 데이터 과학 팀을 위해 설계된 오프라인 검색 세대 (RAG) 시스템입니다. 인터넷 연결이없는 환경에서 작동하는 동안 개인화 된 참조가 풍부한 출력을 제공합니다. 이 시스템은 데이터 개인 정보가 가장 중요한 안전한 설정에 이상적입니다.

특징:

• 오프라인 작동 : 인터넷 연결없이 작동하는 완벽한 기능성 RAG 시스템
• 고급 문서 전처리 : 효율적인 문서 처리 및 컨텐츠 추출을위한 강력한 파이프 라인
• 최첨단 임베딩 및 벡터 저장소 : 여러 임베딩 모델 및 벡터 스토리지 솔루션을 통합
• 최적화 된 래그 파이프 라인 : 지능형 쿼리 처리 및 고정밀 문서 검색 포함
• 사용자 친화적 인 인터페이스 : 간단한 상호 작용을위한 간소 기반 UI

데이터 소스 :

이 시스템은 다음을 포함하여 여러 소스의 문서를 통합합니다.

• 팬더
• Numpy
• Scikit-Learn

폴더 구조 :

 DOC-QUEST/
│
├── data/                           # Folder for data/documents
│   ├── documents/                  # Raw or processed document storage
│   └── vector_db/                  # Vector databases
│       ├── child_docs/             # Child documents
│       └── parent_docs/            # Parent documents
│
├── notebooks/                      # Jupyter notebooks for prototyping and experimentation
│   ├── 1_documentation_download.ipynb
│   ├── 2_document_pre_processing.ipynb
│   ├── 3_embedding_vector_save_gpu.ipynb
│   ├── 4_conversation_rag.ipynb
│   ├── data_wrangling.ipynb
│   └── rag_v1.ipynb
│
├── src/                            # Core source code for pipeline components
│   ├── 1_documentation_download.py
│   ├── 2_document_pre_processing.py
│   ├── 3_embedding_vector_save_gpu.py
│   ├── 4_conversation_rag.py
│
├── .gitignore                      # Specifies files/folders to ignore in version control
├── doc_quest_app.py                # DocQuest UI streamlit application
├── README.md                       # Project documentation
└── requirements.txt                # Dependencies for the project

설치:

1. 저장소 복제 :

    git clone https://github.com/shrivastavasatyam/Doc-Quest.git
   cd Doc-Quest
   

2. 가상 환경 설정 :

    python3 -m venv .venv
   source .venv/bin/activate
   

3. 종속성 설치 :

    pip install -r requirements.txt
   

4. API 키 구성 : GROQ API 키를 환경 변수로 설정하십시오.

    export GROQ_API_KEY=your_groq_api_key
   

   또는 doc_quest_app.py 파일에 직접 추가하십시오.

    os . environ [ "GROQ_API_KEY" ] = "your_groq_api_key"

5. 문서 경로 준비 : 문서 경로가 doc_quest_app.py 파일에 올바르게 설정되었는지 확인하십시오.

    parent_doc_path = "/path/to/your/parent_docs"
   child_doc_path = "./path/to/your/child_docs" 

용법:

1. Streamlit 앱을 시작하십시오.

    streamlit run doc_quest_app.py
   

2. Streamlit (일반적으로 http://localhost:8501 )에서 제공 한 URL에서 웹 인터페이스에 액세스하십시오.

3. 채팅 인터페이스를 사용하여 질문을하고 Rag 시스템과 상호 작용하십시오.

시스템 구성 요소 :

• 문서 전처리 : 컨텐츠 추출을 위해 bshtmlloader 및 beautifulsoup 사용
• 임베딩 모델 : GTE-LARGE-EN-V1.5, GTE-LARGE, Stella_en_400m_v5
• 벡터 저장 : Chroma, Faiss
• 텍스트 생성 : LLAMA-3.1-70B 모델을 활용합니다

향후 개선 :

• 채팅 기록 저장소 구현.
• 검색 구성 요소를 추가로 최적화합니다.
• 관련 문서 섹션에 직접 탐색을위한 고정 된 링크 추가.
• UI에서 여러 생성 모델 선택 옵션을 소개합니다.