ดาวน์โหลด semantic search and llm chat app - semantic search and llm chat app แหล่งข้อมูลดาวน์โหลด

semantic search and llm chat app

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

ความหมาย-ค้นหาและ llm-chat-app

โครงการนี้มีวัตถุประสงค์เพื่อใช้แอปพลิเคชันการค้นหาความหมายและแอปพลิเคชัน LLM-Chat ที่ใช้พลังงานจาก RAG ในระดับ ประกอบด้วยสามองค์ประกอบหลัก:

 1.	Vector Store Database (chromadb_service): Manages and stores vector embeddings for efficient retrieval.
2.	Backend LLM-Powered API Service (llm_service): Handles the core logic and interacts with the LLM model.
3.	Frontend Application: Provides the user interface for interacting with the application.

การออกแบบแบบแยกส่วนช่วยให้แต่ละองค์ประกอบสามารถปรับขนาดได้อย่างอิสระทำให้ระบบสามารถจัดการกับปริมาณการจราจรขนาดใหญ่ได้ตามต้องการ

สำหรับการปรับใช้ในโลกแห่งความเป็นจริงขอแนะนำให้ใช้โซลูชันฐานข้อมูลเวกเตอร์แบบกระจายแทน Chromadb นอกจากนี้การปรับปรุงเพิ่มเติมจะมีความจำเป็นเพื่อให้แอปพลิเคชันพร้อมผลิต

การตั้งค่าโครงการนี้เป็นเพียงจุดเริ่มต้นของการสร้างแอปพลิเคชันที่ใช้การแชทพร้อมการผลิต

วิธีเรียกใช้โครงการนี้

ติดตั้งการพึ่งพา (ใช้ Python> = 3.10) คุณจะต้องเพิ่มตัวแปรสภาพแวดล้อม cmake_args สำหรับการติดตั้ง LLMA-CPP-Python ที่ประสบความสำเร็จ สำหรับ Apple Silicon MacBooks โปรดใช้คำสั่งด้านล่าง โปรดตรวจสอบเอกสารอย่างเป็นทางการของ LLMA-CPP-Python สำหรับคำแนะนำเฉพาะแพลตฟอร์มอื่น ๆ การเชื่อมโยง

CMAKE_ARGS="-DLLAMA_METAL=on"
pip install -r requirements.txt

Afterwords ในลำดับต่อไปนี้รันแต่ละบริการ