Intro to RAG with CODEGEMMA 7B

ผ้าขี้ริ้วง่าย ๆ ด้วย codegemma: 7b

งานนี้ใช้ระบบ RAG อย่างง่ายด้วย GoogleCodegemma:7b , Qdrant as VectorDB และ CoNaLa เราพัฒนาแอพง่ายๆด้วย GRADIO และสร้างภาพ Dcoker สำหรับ Conatiner Runtime

แอพ gradio ui

โครงสร้างไฟล์

• RAG_LOCALLLM.IPYNB: สมุดบันทึกนี้มีรหัสและคำอธิบายสำหรับการใช้ RAG ด้วย CodeGemma
  • เชื่อมต่อกับ LLM ท้องถิ่นผ่าน Ollama
  • นำเข้าข้อมูล
  • นำเข้ารูปแบบการฝัง
  • ฝังเอกสารและสร้างฐานข้อมูลเวกเตอร์
  • ใช้คำถามของผู้ใช้
  • ดำเนินการแบบสอบถามการฝังและการดึงข้อมูล
  • ทำผ้าขี้ริ้วด้วย codegemma
• * vector_database.py: รหัสสำหรับการสร้าง vectordb
• app.py: รหัสสำหรับแอปพลิเคชัน gradio

สถาปัตยกรรม

• ฐานข้อมูลเวกเตอร์: qdrant
• Framework แอปพลิเคชัน: Gradio
• LLM: Google CodeGemma
• LLM Server: Ollama
• EMBEDDING: All-Minilm-L6-V2
• ฐานข้อมูล: Conala

นักเทียบท่า

ภาพนักเทียบท่าของแอพถูกผลักไปที่ Docker Hub ในการเรียกใช้แอปพลิเคชันเราต้องการระบบ Linux ด้วยหน่วยความจำ Minimun 8GB เพื่อเรียกใช้แอพเพียงแค่เรียกใช้คำสั่ง

 docker compose up

หากคุณพบว่า repo มีประโยชน์โปรดวางก