airgapped offfline rag Download - airgapped offfline rag Source Download Download

airgapped offfline rag

ซอร์สโค้ดอื่น ๆ

v1.0.0

ดาวน์โหลด

โลโก้โครงการ

ผ้าขี้ริ้วออฟไลน์

โครงการนี้โดย Vincent KOC ใช้ระบบการตอบคำถามแบบเรียกคืน (RAG) สำหรับเอกสาร มันใช้โมเดล Llama 3, Mistral และ Gemini สำหรับการอนุมานในท้องถิ่นด้วย Llama C ++, Langchain สำหรับการ orchestration, Chromadb สำหรับการจัดเก็บเวกเตอร์และความต่อเนื่องสำหรับส่วนต่อประสานผู้ใช้

ภาพหน้าจอ AirGapped_offline_rag-screenshot.png

สารบัญ

ผ้าขี้ริ้วออฟไลน์
- สารบัญ
- การตั้งค่า
- การรันแอปพลิเคชัน
  - ในระดับท้องถิ่น
  - ใช้นักเทียบท่า
- การใช้งาน
- การกำหนดค่า
- คุณสมบัติ
  - คุณสมบัติที่รองรับ
  - คุณสมบัติในอนาคต
- การบริจาค
- ใบอนุญาต
- กิตติกรรมประกาศ

การตั้งค่า

ตรวจสอบให้แน่ใจว่ามีการติดตั้ง Python 3.9 : คุณสามารถใช้ pyenv :
```
 pyenv install 3.9.16
pyenv local 3.9.16
pyenv rehash
```
สร้างสภาพแวดล้อมเสมือนจริงและติดตั้งการพึ่งพา :
```
 make setup
```
ดาวน์โหลดรุ่น : ดาวน์โหลดรุ่น Llama 3 (8B) และ Mistral (7B) ในรูปแบบ GGUF และวางไว้ใน models/ ไดเรกทอรี TheBloke on Hugging Face ได้แชร์โมเดลที่นี่:
- MISTRAL-7B-Instruct-V0.2-GGUF
- llama-pro-8b-Instruct-Gguf
แบบจำลองจาก unsloth ได้รับการทดสอบและสามารถพบได้ที่นี่:
- gemma-2-2b-it.q2_k.gguf
- llama-3.2-3b-instruct-q2_k.gguf
QDDRANT SENTENCE TRANSFORMER MODEL : สิ่งนี้จะถูกดาวน์โหลดโดยอัตโนมัติในการเรียกใช้ครั้งแรก หากเรียกใช้ผ้าขี้ริ้ว airgapped ในเครื่องควรจะเรียกใช้ codebase ด้วยการเข้าถึงอินเทอร์เน็ตในขั้นต้นเพื่อดาวน์โหลดรุ่น