Seerat e Nabi Model with Llama Index

โมเดล Seerat-e-Nabi พร้อมดัชนี Llama

โครงการนี้เป็นเว็บแอปพลิเคชันที่ใช้แบ็กเอนด์ Fastapi เพื่อให้คำตอบสำหรับคำถามเกี่ยวกับโมเดล Seerat-e-Nabi โดยใช้ดัชนี LLAMA สำหรับการจัดเก็บเวกเตอร์และการสืบค้น

คุณสมบัติ

• การรวม Fastapi : เฟรมเวิร์กเว็บที่มีน้ำหนักเบาเพื่อจัดการคำขอ API
• ดัชนี LLAMA : ใช้ดัชนี LLAMA สำหรับการจัดเก็บและสอบถามเวกเตอร์เอกสาร
• การโหลดโมเดลแบบไดนามิก : โหลดโดยอัตโนมัติและยังคงมีดัชนีตรวจสอบให้แน่ใจว่าการสืบค้นที่มีประสิทธิภาพ

โครงสร้างไฟล์

• main.py : ไฟล์แอปพลิเคชันหลักโดยใช้ fastapi เพื่อตั้งค่าจุดสิ้นสุด
• llama_model.py : สคริปต์เพื่อโหลดข้อมูลสร้างดัชนีและสอบถามโดยใช้ดัชนี Llama
• clean.py : ประมวลผลข้อมูลดิบล่วงหน้าสำหรับการสร้างชุดข้อมูลที่สะอาดเหมาะสำหรับการจัดทำดัชนี

ส่วนประกอบสำคัญ

แอปพลิเคชัน fastapi ( main.py )

• จุดสิ้นสุด :
  • GET / : การตรวจสุขภาพอย่างง่ายกลับ "ตกลง"
  • GET /response/{question} : ยอมรับคำถามและส่งคืนการตอบกลับของโมเดล
• การกำหนดค่าเซิร์ฟเวอร์ : รันเซิร์ฟเวอร์บน port 8000 พร้อมเปิดใช้งานการโหลดซ้ำ

Llama Model ( llama_model.py )

• การโหลดข้อมูลและการจัดทำดัชนี :
  • โหลดเอกสารจากไดเรกทอรีที่ระบุ
  • สร้างและยังคงมีดัชนีร้านค้าเวกเตอร์
• การจัดการแบบสอบถาม :
  • จัดเตรียมฟังก์ชั่นเพื่อสอบถามดัชนีและดึงคำตอบ

การประมวลผลข้อมูลล่วงหน้า ( clean.py )

• การทำความสะอาดข้อมูล :
  • ลบอักขระที่ไม่ใช่ตัวอักษรและเส้นสาย
  • กรองบรรทัดที่มีคำน้อยกว่าสามคำ
• บันทึกข้อมูลที่สะอาด : บันทึกข้อมูลที่ประมวลผลล่วงหน้าไปยังไฟล์ใหม่

ความท้าทายและการแก้ปัญหา

• การรวมโมเดล : สร้างความมั่นใจว่าการรวมดัชนี Llama อย่างราบรื่นกับ Fastapi จำเป็นต้องมีการจัดการอย่างระมัดระวังของการโหลดข้อมูลและการทำดัชนี
• การประมวลผลข้อมูลล่วงหน้า : การทำความสะอาดและเตรียมข้อมูลเพื่อสร้างดัชนีที่มีความหมายเกี่ยวข้องกับขั้นตอนการประมวลผลล่วงหน้าหลายขั้นตอน
• การสืบค้นที่มีประสิทธิภาพ : การใช้ระบบเพื่อสอบถามดัชนีอย่างมีประสิทธิภาพและให้การตอบสนองที่ต้องการการจัดทำดัชนีที่แข็งแกร่งและกลไกการจัดการแบบสอบถาม

เริ่มต้น

1. โคลนที่เก็บ
2. ติดตั้งการพึ่งพาที่ต้องการ
3. เรียกใช้แอพ Fastapi

git clone https://github.com/faisal-fida/seerat-e-nabi-model-llama-index.git
cd seerat-e-nabi-model-llama-index
pip install -r requirements.txt
uvicorn main:app --reload

บทสรุป

โครงการนี้แสดงให้เห็นถึงการรวม Fastapi กับดัชนี Llama สำหรับการสร้างเว็บแอปพลิเคชันที่ตอบสนองได้ซึ่งสามารถตอบคำถามตามข้อมูลที่จัดทำดัชนี มันเน้นความซับซ้อนของการรวมโมเดลการประมวลผลข้อมูลล่วงหน้าและการสืบค้นที่มีประสิทธิภาพ

อย่าลังเลที่จะมีส่วนร่วมหรือยกประเด็นหากคุณพบปัญหาใด ๆ !