chroma db rag

與Vectordb一起檢索增強一代，擁抱臉部嵌入式和重新等級

存儲庫概述

該存儲庫證明了矢量數據庫Chroma DB與嵌入模型的集成，以開發可靠的檢索增強生成（RAG）系統。

嵌入模型選項

1. Ollama嵌入模型：
2. 擁抱臉部文字嵌入：
3. OpenAI嵌入模型：

重新級集成（HTTP，GRPC）

為了提高抹布的準確性，我們可以合併擁抱面的模型。這些模型評估了從vectordb重新返回的查詢結果和查詢結果之間的相似性，通過索引將結果對結果進行排名，以確保檢索到的信息相關且上下文準確。

Example:
query := " What is Deep Learning? "
retrievedResults := []string{ " Tomatos are fruits... " , " Deep Learning is not... " , " Deep learning is... " }
Response: [{ " index " :2, " score " :0.9987814},{ " index " :1, " score " :0.022949383},{ " index " :0, " score " :0.000076250595}]

該存儲庫演示瞭如何將嵌入和重新固定以開發抹布系統的結合。

遵循的步驟可以實現此抹布系統

1. 設置向量數據庫：

   • 使用Chroma DB存儲您的文檔嵌入。
   • 支持Ollama嵌入模型並擁抱Face Tei。

2. 預處理文件：

   • 將您的文檔分成可管理的塊。
   • 使用嵌入模型（例如來自Ollama的“提名 - 內容文本”）為每個塊生成嵌入。

3. 商店嵌入：

   • 將塊及其相應嵌入在色度DB矢量數據庫中。

4. 查詢處理：

   • 當您有查詢時：
     • 生成查詢的嵌入。
     • 在矢量數據庫中執行相似性搜索，以根據其嵌入來識別最相關的塊。
     • 檢索這些塊作為查詢的上下文。
     • 使用擁抱的臉部reranker重讀結果

5. 與LLM提供商集成：

   • 支持LLM提供商
     • 霍拉馬
     • Openai

6. 創建提示模板：

   • 設計一個提示模板，該模板同時包含了原始查詢和從矢量數據庫檢索的上下文。

7. 使用LLM的過程：

   • 將增強提示（包括查詢和重新依賴上下文）發送到大型語言模型（LLM），以處理和生成響應。

這允許通過利用向量數據庫和高級嵌入模型的功能來增強語言處理任務。

樣本結果

<|user|> what is mirostat_tau?</s>:-
Based on the provided content, I can answer your query.

** Query Result: ** Mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)

** Document Content: **

mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)
float
mirostat_tau 5.0

** Additional Information on this Topic: **

Here are three main points related to Mirostat_tau:

1. ** Coherence vs Diversity: ** Mirostat_tau controls the balance between coherence and diversity of the output, which means it determines how focused or creative the generated text will be.
2. ** Lower Values Mean More Focus: ** A lower value for mirostat_tau results in more focused and coherent text, while a higher value allows for more diverse and potentially less coherent output.
3. ** Default Value: ** The default value for Mirostat_tau is 5.0, which means that if no specific value is provided, the model will generate text with a balance between coherence and diversity.

Please note that these points are based solely on the provided content and do not go beyond it.%    

入門

先決條件

• 去（> = 1.22.0）
• Docker
• Docker組成

安裝

1. 克隆存儲庫

git clone https://github.com/yourusername/chroma-db.git
cd chroma-db

2. 安裝GO軟件包
3. 建立GO項目

go build -o chroma-db cmd/main.go

4. 設置Docker容器

確保安裝Docker和Docker組合。使用docker-compose.yaml來設置Chroma DB服務。

docker-compose up -d

運行項目

./chroma-db
Usage 
  -load
        Load and embed the data in vectordb
        Provide the path to file Eg: " test/model_params.txt "
  -query
        Query the embedded data and rerank the results
        Provide the query Eg: " what is the difference between mirostat_tau and mirostat_eta? " 

項目結構

• CMD/ ：

  • Main.Go ：運行Chroma DB的入口點。
  • 聊天/ ：
    • Ollama_chat.go ：包含用於與Ollama聊天模型互動的邏輯。

• 內部/常數/ ：

  • 常數：包含整個項目中使用的所有必要常數。

• docker-compose.yaml ：Docker組成配置文件，用於設置Chroma DB服務。

配置

調整internal/constants/constants.go中的配置值，以滿足您的需求。這包括以下設置：

Chroma DB URL，租戶名稱，數據庫和名稱空間。 Ollama模型類型和URL。

提示GO模板

  < | system | > {{ . SystemPrompt }} < / s >
  < | content | > {{ . Content }} < / s >
  < | user | > {{ . Prompt }} < / s > 

運行vectordb

使用以下命令啟動VectordB：

docker compose up

與Ollama聊天

執行與聊天有關的操作：

go run ./cmd/main.go

配置

默認配置值在internal/constants/constants.go中提供，並且可以根據您的需求進行調整。其中一些包括：

• ChromaUrl ， TenantName ， Database ， Namespace
• OllamaModel和OllamaUrl

執照

該項目是根據BSD 3範圍許可證的許可 - 有關詳細信息，請參見許可證文件。

致謝

• 色度DB
• 霍拉馬

對於任何問題或貢獻，請在Github上開設問題或提交拉動請求。