local rag qa engine

Document Secure Document Local Document engine

การติดตั้ง

โคลน repo:

git https://github.com/pratapyash/local-rag-qa-engine
cd local-rag-qa-engine

ติดตั้งการพึ่งพา (ต้องใช้บทกวี):

poetry install

ดึง LLM ของคุณ (LLAMA3.2: 1B โดยค่าเริ่มต้น):

ollama pull llama3.2:1b

เรียกใช้เซิร์ฟเวอร์ Ollama

ollama serve

เริ่ม Ragbase:

poetry run streamlit run app.py

การกลืนกิน

แยกข้อความจากเอกสาร PDF และสร้างชิ้น (โดยใช้ความหมายและตัวแยกอักขระ) ที่เก็บไว้ใน databse เวกเตอร์

รีทรีฟเวอร์

เมื่อได้รับการค้นหาให้ค้นหาเอกสารที่คล้ายกัน Reranks ผลลัพธ์และใช้ตัวกรองโซ่ LLM ก่อนที่จะส่งคืนการตอบกลับ

ห่วงโซ่ QA

รวม LLM กับ Retriever เพื่อตอบคำถามผู้ใช้ที่กำหนด

ซ้อนเทค

• Ollama - เรียกใช้ LLM ท้องถิ่น
• Langchain - สร้างแอพที่ขับเคลื่อนด้วย LLM
• QDRANT - การค้นหา/ฐานข้อมูลเวกเตอร์
• Flashrank - Reranking อย่างรวดเร็ว
• Fastembed - รุ่นฝังที่มีน้ำหนักเบาและรวดเร็ว
• Streamlit - สร้าง UI สำหรับแอพข้อมูล
• PDFium - การประมวลผล PDF และการสกัดข้อความ