documentmentor rag

ผู้ทำเอกสาร

Documentor เป็นระบบ RAG (Generation Augmented Retrieval) ที่ทำหน้าที่เป็นผู้ช่วยเอกสารทางเทคนิค ด้วยการใช้สถาปัตยกรรม RAG ระบบจะรวมพลังของ GPT-3.5 ของ OpenAI เข้ากับฐานความรู้ท้องถิ่นเพื่อให้การตอบสนองที่แม่นยำและบริบทเกี่ยวกับเอกสารทางเทคนิคในภาษาสเปน

เทคโนโลยีหลัก

• Python 3.10+ : ภาษาฐานโครงการ

  • สนับสนุนลักษณะที่ทันสมัย
  • การจัดการการพึ่งพาที่มีประสิทธิภาพ
  • ความเข้ากันได้กับเฟรมเวิร์ก IA
    • คนขี้เกียจ
    • หม้อแปลงประโยค
    • คน

• Langchain : กรอบหลักสำหรับการสร้างระบบผ้าขี้ริ้ว

  • การรวมเข้ากับ OpenAI GPT-3.5
  • ห่วงโซ่การประมวลผลส่วนบุคคล
  • การจัดการหน่วยความจำสนทนา
  • พรอมต์ที่ปรับให้เหมาะสม

• Openai API :

  • รุ่น GPT-3.5-turbo สำหรับการสร้างการตอบสนอง
  • การปรับแต่งการแจ้งเตือนสำหรับบริบททางเทคนิค
  • คำตอบภาษาสเปนตามธรรมชาติ

• ผ้าขี้ริ้ว (รุ่นเพิ่มการดึง) :

  • การฝังตัวในท้องถิ่นพร้อมหม้อแปลงประโยค
  • การค้นหาความหมายผ่าน FAISS
  • การกู้คืนบริบทอัจฉริยะ
  • การเพิ่มความรู้ LLM

อินเทอร์เฟซผู้ใช้พร้อม streamlit

Documentor ใช้ Streamlit เป็นเฟรมเวิร์กสำหรับส่วนต่อประสานผู้ใช้โดยให้:

ลักษณะ UI

• แชทแบบโต้ตอบ :

  • อินเทอร์เฟซการสนทนาของเหลว
  • ข้อความถาวร
  • การป้อนข้อความที่ใช้งานง่าย

• การจัดการเอกสาร :

  • โหลด PDFS ผ่าน Drag & Drop
  • การสร้างภาพเอกสารที่ประมวลผล
  • สถานะการประมวลผลจริง -เวลา

• แผงควบคุม :

  • แถบด้านข้างสำหรับการกำหนดค่า
  • ตัวบ่งชี้สถานะระบบ
  • ตัวเลือกการปรับแต่ง

ข้อได้เปรียบของลำธาร

• การพัฒนาอย่างรวดเร็วและมีประสิทธิภาพ
• การอัปเดตจริง -เวลา
• การบูรณาการที่สมบูรณ์แบบกับ Python
• จอแสดงผลง่ายๆ

โครงสร้างโครงการ?

 documentmentor/
├── data/                          # Datos y almacenamiento
│   ├── processed/                 # Documentos procesados
│   ├── vector_store/             # Almacenamiento vectorial
│   │   ├── document_map.json     # Mapeo de documentos
│   │   └── faiss.index          # Índice FAISS
│   └── documentmentor.db         # Base de datos SQLite
│
├── src/                          # Código fuente
│   ├── core/                     # Lógica principal
│   │   ├── __init__.py
│   │   ├── document_processor.py # Procesamiento de PDFs
│   │   ├── memory_manager.py     # Gestión de memoria
│   │   └── qa_engine.py         # Motor de Q&A
│   │
│   ├── data/                     # Capa de datos
│   │   ├── __init__.py
│   │   ├── database.py          # Operaciones SQLite
│   │   └── vector_store.py      # Gestión vectorial
│   │
│   └── ui/                       # Interfaz de usuario
│       └── app.py               # Aplicación Streamlit
│
├── .env                         # Variables de entorno
├── .env.example                 # Ejemplo de configuración
├── .gitignore
├── main.py                      # Punto de entrada
├── README.md
└── requirements.txt             # Dependencias

การดำเนินการ

การประมวลผลเอกสาร?

1. โหลด PDF :

   • อัปโหลดเอกสารทางเทคนิคของคุณในรูปแบบ PDF
   • ระบบประมวลผลเอกสารแต่ละฉบับโดยอัตโนมัติ
   • ข้อความในชิ้นที่มีการปรับให้เหมาะสมนั้นถูกสกัดและแบ่งส่วน

2. ดัชนี :

   • แต่ละเซ็กเมนต์จะกลายเป็นฝัง
   • พวกเขาจะถูกเก็บไว้ในฐานข้อมูลเวกเตอร์ Faiss
   • ข้อมูลเมตาและการอ้างอิงได้รับการเก็บรักษาไว้

การให้คำปรึกษาไหล?

1. คำถามผู้ใช้ :

   • เขียนคำถามของคุณที่แชท
   • ระบบวิเคราะห์การปรึกษาหารือ
   • การฝังคำถามถูกสร้างขึ้น

2. การค้นหาความหมาย :

   • มีการค้นหากลุ่มที่เกี่ยวข้องมากที่สุด
   • FAISS ใช้สำหรับการค้นหาที่มีประสิทธิภาพ
   • บริบทที่เหมาะสมที่สุดจะถูกกู้คืน

3. รุ่นของคำตอบ :

   • GPT-3.5 ได้รับบริบทที่เกี่ยวข้อง
   • การตอบสนองที่แม่นยำถูกสร้างขึ้น
   • บริบทของการสนทนายังคงอยู่

ตัวอย่างการใช้งาน

1. การตระเตรียม :

   • อัปโหลดคู่มือทางเทคนิคใน PDF
   • รอการยืนยันการประมวลผล
   • เอกสารพร้อมสำหรับการปรึกษาหารือ

2. การปรึกษาหารือ :

   • คำถาม: "การติดตั้งมีข้อกำหนดอะไรบ้าง"
   • ระบบค้นหาส่วนที่เกี่ยวข้อง
   • ตอบกลับด้วยข้อมูลเอกสารเฉพาะ

3. ติดตามผล :

   • คุณสามารถถามคำถามติดตาม
   • ระบบรักษาบริบท
   • คำตอบมีความสอดคล้องและเกี่ยวข้อง

ข้อดี ?

• การประมวลผลเอกสารท้องถิ่น
• คำตอบตามเอกสารของคุณ
• บริบทการสนทนาได้รับการดูแล
• การค้นหาความหมายที่แม่นยำ
• อินเทอร์เฟซที่ใช้งานง่าย

ความต้องการ ?

 # Core LangChain dependencies
langchain == 0.3 . 12
langchain - core == 0.3 . 25
langchain - community == 0.3 . 12
langchain - openai == 0.2 . 12
openai == 1.57 . 4

# Document Processing
pypdf == 5.1 . 0
python - dotenv == 1.0 . 1

# Vector Store & Embeddings
sentence - transformers == 3.3 . 1
faiss - cpu == 1.9 . 0. post1
torch == 2.5 . 1
torchvision == 0.20 . 1
torchaudio == 2.5 . 1

# Database
SQLAlchemy == 2.0 . 36

# UI Framework
streamlit == 1.41 . 1

# Utils
numpy == 2.2 . 0
pandas == 2.2 . 3
pydantic == 2.10 . 3 

สิ่งอำนวยความสะดวก ?

1. โคลนที่เก็บ

git clone https://github.com/Jaolmos/documentmentor-rag.git

2. สร้างสภาพแวดล้อมเสมือนจริง

python -m venv venv

3. เปิดใช้งานสภาพแวดล้อมเสมือนจริง

 # Windows
venv S cripts a ctivate
# Linux/Mac
source venv/bin/activate

4. ติดตั้งการพึ่งพา

pip install -r requirements.txt

5. กำหนดค่าตัวแปรสภาพแวดล้อม

 # Copiar el archivo de ejemplo
cp .env.example .env

# Editar el archivo .env usando .env.example como referencia
# y añadir tu API key de OpenAI
OPENAI_API_KEY=tu_api_key

ใช้

1. เริ่มแอปพลิเคชัน

python main.py

สคริปต์ main.py ดำเนินการต่อไปนี้:

• โหลดตัวแปรโหลดจาก .env
• ตรวจสอบการปรากฏตัวของ OPENAI_API_KEY
• เริ่มต้นโฟลเดอร์ที่จำเป็น:
  • data/processed/ สำหรับเอกสารที่ประมวลผล
  • data/vector_store/ สำหรับดัชนีเวกเตอร์
• หอกอินเทอร์เฟซ Streamlit

สถานะปัจจุบัน

• ✅การประมวลผลเอกสาร
• ✅ระบบฝังตัวในท้องถิ่น
• ✅การค้นหาความหมาย
• ✅ส่วนติดต่อผู้ใช้
• ✅การจัดการหน่วยความจำ
• ✅การคงอยู่ของข้อมูล

บันทึกสำคัญ

• ต้องมีการเชื่อมต่ออินเทอร์เน็ตสำหรับ GPT-3.5
• เอกสารมีการประมวลผลในพื้นที่
• อัปเดตสภาพแวดล้อมเสมือนจริง
• ทบทวนบันทึกสำหรับการวินิจฉัย