chroma db rag

การดึงรุ่นเสริมด้วย vectordb กอดใบหน้าฝังตัวและ rankers ใหม่

ภาพรวมที่เก็บข้อมูล

พื้นที่เก็บข้อมูลนี้แสดงให้เห็นถึงการรวมกันของ Chroma DB ซึ่งเป็นฐานข้อมูลเวกเตอร์ที่มีแบบจำลองการฝังเพื่อพัฒนาระบบ Augmented Generation (RAG) ที่แข็งแกร่ง

ตัวเลือกรุ่นฝังตัวเลือก

1. รูปแบบการฝัง Ollama :
2. กอดข้อความหน้า Embedder :
3. โมเดลการฝัง OpenAI :

การรวม RANKER ใหม่ (HTTP, GRPC)

เพื่อเพิ่มความแม่นยำของผ้าขี้ริ้วเราสามารถรวมโมเดล HuggingFace ใหม่ได้ โมเดลเหล่านี้ประเมินความคล้ายคลึงกันระหว่างการสืบค้นและผลลัพธ์การสืบค้นที่ได้รับจาก vectordb อันดับ RANKER จัดอันดับผลลัพธ์โดยดัชนีเพื่อให้มั่นใจว่าข้อมูลที่ดึงมานั้นมีความเกี่ยวข้องและถูกต้องตามบริบท

Example:
query := " What is Deep Learning? "
retrievedResults := []string{ " Tomatos are fruits... " , " Deep Learning is not... " , " Deep learning is... " }
Response: [{ " index " :2, " score " :0.9987814},{ " index " :1, " score " :0.022949383},{ " index " :0, " score " :0.000076250595}]

พื้นที่เก็บข้อมูลนี้แสดงให้เห็นถึงวิธีการรวมการฝังและการวิ่งใหม่เพื่อพัฒนาระบบผ้าขี้ริ้ว

ตามขั้นตอนที่ตามมาเพื่อใช้ระบบผ้าขี้ริ้วนี้

1. ตั้งค่าฐานข้อมูลเวกเตอร์ :

   • ใช้ Chroma DB เพื่อจัดเก็บเอกสารของคุณ
   • สนับสนุนโมเดลการฝัง Ollama และกอด Tei

2. เอกสารประมวลผลล่วงหน้า :

   • แบ่งเอกสารของคุณออกเป็นชิ้นที่จัดการได้
   • สร้าง EMBEDDINGS สำหรับแต่ละก้อนโดยใช้โมเดลการฝังเช่น "NOMIC-EMBED-TEXT" จาก Ollama

3. จัดเก็บ Embeddings :

   • จัดเก็บชิ้นและการฝังที่สอดคล้องกันในฐานข้อมูลเวกเตอร์ Chroma DB

4. การประมวลผลแบบสอบถาม :

   • เมื่อคุณมีแบบสอบถาม:
     • สร้างการฝังตัวสำหรับการสืบค้น
     • ทำการค้นหาความคล้ายคลึงกันภายในฐานข้อมูล Vector เพื่อระบุชิ้นส่วนที่เกี่ยวข้องมากที่สุดตามการฝังตัวของพวกเขา
     • ดึงชิ้นส่วนเหล่านี้เป็นบริบทสำหรับการสืบค้นของคุณ
     • RERANK ผลลัพธ์โดยใช้การกอดใบหน้า Reranker

5. รวมเข้ากับผู้ให้บริการ LLM :

   • รองรับผู้ให้บริการ LLM
     • โอลลา
     • Openai

6. สร้างเทมเพลตพรอมต์ :

   • ออกแบบเทมเพลตพรอมต์ที่รวมทั้งแบบสอบถามดั้งเดิมและบริบทที่ดึงมาจากฐานข้อมูลเวกเตอร์

7. ดำเนินการกับ LLM :

   • ส่งพรอมต์เพิ่มเติมรวมถึงบริบทแบบสอบถามและอีกครั้งไปยังรูปแบบภาษาขนาดใหญ่ (LLM) สำหรับการประมวลผลและการสร้างการตอบสนอง

สิ่งนี้ช่วยให้สามารถปรับปรุงงานการประมวลผลภาษาโดยใช้ประโยชน์จากพลังของฐานข้อมูลเวกเตอร์และโมเดลการฝังขั้นสูง

ตัวอย่างผลลัพธ์

<|user|> what is mirostat_tau?</s>:-
Based on the provided content, I can answer your query.

** Query Result: ** Mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)

** Document Content: **

mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)
float
mirostat_tau 5.0

** Additional Information on this Topic: **

Here are three main points related to Mirostat_tau:

1. ** Coherence vs Diversity: ** Mirostat_tau controls the balance between coherence and diversity of the output, which means it determines how focused or creative the generated text will be.
2. ** Lower Values Mean More Focus: ** A lower value for mirostat_tau results in more focused and coherent text, while a higher value allows for more diverse and potentially less coherent output.
3. ** Default Value: ** The default value for Mirostat_tau is 5.0, which means that if no specific value is provided, the model will generate text with a balance between coherence and diversity.

Please note that these points are based solely on the provided content and do not go beyond it.%    

เริ่มต้น

ข้อกำหนดเบื้องต้น

• ไป (> = 1.22.0)
• นักเทียบท่า
• นักเทียบท่า

การติดตั้ง

1. โคลนที่เก็บ

git clone https://github.com/yourusername/chroma-db.git
cd chroma-db

2. ติดตั้งแพ็คเกจไป
3. สร้างโครงการ GO

go build -o chroma-db cmd/main.go

4. ตั้งค่าคอนเทนเนอร์ Docker

ตรวจสอบให้แน่ใจว่ามีการติดตั้งนักเทียบท่าและนักเทียบท่า ใช้ docker-compose.yaml เพื่อตั้งค่าบริการ Chroma DB

docker-compose up -d

ดำเนินโครงการ

./chroma-db
Usage 
  -load
        Load and embed the data in vectordb
        Provide the path to file Eg: " test/model_params.txt "
  -query
        Query the embedded data and rerank the results
        Provide the query Eg: " what is the difference between mirostat_tau and mirostat_eta? " 

โครงสร้างโครงการ

• cmd/ :

  • Main.go : จุดเข้าสำหรับการรัน Chroma DB
  • แชท/ :
    • ollama_chat.go : มีตรรกะสำหรับการโต้ตอบกับโมเดลแชท Ollama

• ภายใน/ ค่าคงที่/ :

  • ค่าคงที่ GO : บ้านค่าคงที่ที่จำเป็นทั้งหมดที่ใช้ในโครงการ

• Docker-compose.yaml : Docker Compose File File สำหรับการตั้งค่าบริการ Chroma DB

การกำหนดค่า

ปรับค่าการกำหนดค่าใน internal/constants/constants.go เพื่อให้เหมาะกับความต้องการของคุณ ซึ่งรวมถึงการตั้งค่าเช่น:

chroma db url, ชื่อผู้เช่า, ฐานข้อมูลและเนมสเปซ ประเภทและ URL รุ่น Ollama

เทมเพลตพรอมต์ไป

  < | system | > {{ . SystemPrompt }} < / s >
  < | content | > {{ . Content }} < / s >
  < | user | > {{ . Prompt }} < / s > 

เรียกใช้ vectordb

เริ่ม Vectordb ด้วยคำสั่งต่อไปนี้:

docker compose up

แชทกับ Ollama

ดำเนินการดำเนินการที่เกี่ยวข้องกับการแชท:

go run ./cmd/main.go

การกำหนดค่า

ค่าการกำหนดค่าเริ่มต้นมีให้ใน internal/constants/constants.go และสามารถปรับได้ตามความต้องการของคุณ บางส่วนของสิ่งเหล่านี้รวมถึง:

• ChromaUrl , TenantName , Database , Namespace
• OllamaModel และ OllamaUrl

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต BSD 3 -cluse - ดูไฟล์ใบอนุญาตสำหรับรายละเอียด

กิตติกรรมประกาศ

• Chroma DB
• โอลลา

สำหรับปัญหาหรือการมีส่วนร่วมใด ๆ โปรดเปิดปัญหาหรือส่งคำขอดึงไปที่ GitHub