documentmentor rag

문서관

Documentor는 기술 문서 보조 역할을하는 Rag (검색 증강 세대) 시스템입니다. 이 시스템은 Rag Architecture를 사용하여 OpenAI의 GPT-3.5의 힘을 현지 지식 기반과 결합하여 스페인어의 기술 문서에 대한 정확하고 상황에 맞는 응답을 제공합니다.

주요 기술

• Python 3.10+ : 프로젝트 기본 언어

  • 현대 특성에 대한 지원
  • 효율적인 종속성 관리
  • IA 프레임 워크와의 호환성
    • 랭케인
    • 문장 변압기
    • Faiss

• Langchain : Rag 시스템의 구성을위한 주요 프레임 워크

  • OpenAI GPT-3.5와 통합
  • 개인화 된 가공 체인
  • 대화 메모리 관리
  • 최적화 된 프롬프트

• OpenAi API :

  • 응답 생성을위한 모델 GPT-3.5 터보
  • 기술적 맥락을위한 프롬프트의 미세 조정
  • 자연 스페인 답변

• 헝겊 (검색 증강 세대) :

  • 문장 변압기가있는 로컬 임베딩
  • Faiss를 통한 시맨틱 검색
  • 지능적인 맥락 회복
  • LLM 지식 강화

Streamlit과 사용자 인터페이스

Documentor는 다음을 제공하는 사용자 인터페이스의 프레임 워크로 간소화를 사용합니다.

UI 특성

• 대화식 채팅 :

  • 유체 대화 인터페이스
  • 지속적인 메시지
  • 직관적 인 텍스트 항목

• 문서 관리 :

  • PDF는 드래그 앤 드롭을 통해로드됩니다
  • 처리 된 문서의 시각화
  • 실시간 처리 상태

• 제어판 :

  • 구성을위한 사이드 바
  • 시스템 상태 표시기
  • 사용자 정의 옵션

능률적 인 장점

• 빠르고 효율적인 개발
• 실시간 업데이트
• 파이썬과의 완벽한 통합
• 간단한 디스플레이

프로젝트 구조?

 documentmentor/
├── data/                          # Datos y almacenamiento
│   ├── processed/                 # Documentos procesados
│   ├── vector_store/             # Almacenamiento vectorial
│   │   ├── document_map.json     # Mapeo de documentos
│   │   └── faiss.index          # Índice FAISS
│   └── documentmentor.db         # Base de datos SQLite
│
├── src/                          # Código fuente
│   ├── core/                     # Lógica principal
│   │   ├── __init__.py
│   │   ├── document_processor.py # Procesamiento de PDFs
│   │   ├── memory_manager.py     # Gestión de memoria
│   │   └── qa_engine.py         # Motor de Q&A
│   │
│   ├── data/                     # Capa de datos
│   │   ├── __init__.py
│   │   ├── database.py          # Operaciones SQLite
│   │   └── vector_store.py      # Gestión vectorial
│   │
│   └── ui/                       # Interfaz de usuario
│       └── app.py               # Aplicación Streamlit
│
├── .env                         # Variables de entorno
├── .env.example                 # Ejemplo de configuración
├── .gitignore
├── main.py                      # Punto de entrada
├── README.md
└── requirements.txt             # Dependencias

작업

문서 처리?

1. PDF로드 :

   • PDF 형식으로 기술 문서를 업로드하십시오
   • 시스템은 각 문서를 자동으로 처리합니다
   • 최적화 된 청크의 텍스트가 추출되고 세분화됩니다

2. 색인화 :

   • 각 세그먼트는 임베딩이됩니다
   • FAISS 벡터 데이터베이스에 저장됩니다
   • 메타 데이터 및 참조가 보존됩니다

상담 흐름?

1. 사용자 질문 :

   • 채팅시 질문을 작성하십시오
   • 시스템은 상담을 분석합니다
   • 질문의 포함이 생성됩니다

2. 시맨틱 검색 :

   • 가장 관련성이 높은 세그먼트가 찾고 있습니다
   • Faiss는 효율적인 검색에 사용됩니다
   • 가장 적절한 컨텍스트가 복구됩니다

3. 답변 생성 :

   • GPT-3.5는 관련 컨텍스트를받습니다
   • 정확한 응답이 생성됩니다
   • 대화의 맥락은 유지됩니다

사용의 예

1. 준비 :

   • PDF에 기술 매뉴얼을 업로드하십시오
   • 처리 확인을 기다리십시오
   • 문서는 상담 준비가되었습니다

2. 상담 :

   • 질문 : "설치에는 어떤 요구 사항이 있습니까?"
   • 시스템은 관련 섹션을 찾습니다
   • 특정 문서 정보로 응답합니다

3. 후속 조치 :

   • 다음 질문을 요청할 수 있습니다
   • 시스템은 컨텍스트를 유지합니다
   • 답은 일관되고 관련이 있습니다

장점?

• 로컬 문서 처리
• 문서를 기반으로 한 응답
• 대화 적 맥락이 유지되었습니다
• 정확한 시맨틱 검색
• 직관적 인 인터페이스

요구 사항?

 # Core LangChain dependencies
langchain == 0.3 . 12
langchain - core == 0.3 . 25
langchain - community == 0.3 . 12
langchain - openai == 0.2 . 12
openai == 1.57 . 4

# Document Processing
pypdf == 5.1 . 0
python - dotenv == 1.0 . 1

# Vector Store & Embeddings
sentence - transformers == 3.3 . 1
faiss - cpu == 1.9 . 0. post1
torch == 2.5 . 1
torchvision == 0.20 . 1
torchaudio == 2.5 . 1

# Database
SQLAlchemy == 2.0 . 36

# UI Framework
streamlit == 1.41 . 1

# Utils
numpy == 2.2 . 0
pandas == 2.2 . 3
pydantic == 2.10 . 3 

시설 ?

1. 저장소를 복제하십시오

git clone https://github.com/Jaolmos/documentmentor-rag.git

2. 가상 환경을 만듭니다

python -m venv venv

3. 가상 환경을 활성화합니다

 # Windows
venv S cripts a ctivate
# Linux/Mac
source venv/bin/activate

4. 종속성을 설치하십시오

pip install -r requirements.txt

5. 환경 변수를 구성합니다

 # Copiar el archivo de ejemplo
cp .env.example .env

# Editar el archivo .env usando .env.example como referencia
# y añadir tu API key de OpenAI
OPENAI_API_KEY=tu_api_key

사용

1. 응용 프로그램을 시작하십시오

python main.py

main.py 스크립트는 다음과 같은 작업을 수행합니다.

• .env 에서 변수로드
• OPENAI_API_KEY 의 존재를 확인하십시오
• 필요한 폴더를 초기화합니다.
  • 처리 된 문서의 경우 data/processed/
  • 벡터 지수의 경우 data/vector_store/
• 유선형 인터페이스를 창으로 만듭니다

현재 상태

• ✅ 문서 처리
• ✅ 로컬 임베딩 시스템
• Semantic Search
• ✅ 사용자 인터페이스
• ✅ 메모리 관리
• ✅ 데이터 지속성

중요한 메모 켈

• GPT-3.5에 대한 인터넷 연결이 필요합니다
• 문서는 로컬로 처리됩니다
• 가상 환경을 업데이트하십시오
• 진단에 대한 로그를 검토하십시오