chroma db rag

与Vectordb一起检索增强一代，拥抱脸部嵌入式和重新等级

存储库概述

该存储库证明了矢量数据库Chroma DB与嵌入模型的集成，以开发可靠的检索增强生成（RAG）系统。

嵌入模型选项

1. Ollama嵌入模型：
2. 拥抱脸部文字嵌入：
3. OpenAI嵌入模型：

重新级集成（HTTP，GRPC）

为了提高抹布的准确性，我们可以合并拥抱面的模型。这些模型评估了从vectordb重新返回的查询结果和查询结果之间的相似性，通过索引将结果对结果进行排名，以确保检索到的信息相关且上下文准确。

Example:
query := " What is Deep Learning? "
retrievedResults := []string{ " Tomatos are fruits... " , " Deep Learning is not... " , " Deep learning is... " }
Response: [{ " index " :2, " score " :0.9987814},{ " index " :1, " score " :0.022949383},{ " index " :0, " score " :0.000076250595}]

该存储库演示了如何将嵌入和重新固定以开发抹布系统的结合。

遵循的步骤可以实现此抹布系统

1. 设置向量数据库：

   • 使用Chroma DB存储您的文档嵌入。
   • 支持Ollama嵌入模型并拥抱Face Tei。

2. 预处理文件：

   • 将您的文档分成可管理的块。
   • 使用嵌入模型（例如来自Ollama的“提名 - 内容文本”）为每个块生成嵌入。

3. 商店嵌入：

   • 将块及其相应嵌入在色度DB矢量数据库中。

4. 查询处理：

   • 当您有查询时：
     • 生成查询的嵌入。
     • 在矢量数据库中执行相似性搜索，以根据其嵌入来识别最相关的块。
     • 检索这些块作为查询的上下文。
     • 使用拥抱的脸部reranker重读结果

5. 与LLM提供商集成：

   • 支持LLM提供商
     • 霍拉马
     • Openai

6. 创建提示模板：

   • 设计一个提示模板，该模板同时包含了原始查询和从矢量数据库检索的上下文。

7. 使用LLM的过程：

   • 将增强提示（包括查询和重新依赖上下文）发送到大型语言模型（LLM），以处理和生成响应。

这允许通过利用向量数据库和高级嵌入模型的功能来增强语言处理任务。

样本结果

<|user|> what is mirostat_tau?</s>:-
Based on the provided content, I can answer your query.

** Query Result: ** Mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)

** Document Content: **

mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)
float
mirostat_tau 5.0

** Additional Information on this Topic: **

Here are three main points related to Mirostat_tau:

1. ** Coherence vs Diversity: ** Mirostat_tau controls the balance between coherence and diversity of the output, which means it determines how focused or creative the generated text will be.
2. ** Lower Values Mean More Focus: ** A lower value for mirostat_tau results in more focused and coherent text, while a higher value allows for more diverse and potentially less coherent output.
3. ** Default Value: ** The default value for Mirostat_tau is 5.0, which means that if no specific value is provided, the model will generate text with a balance between coherence and diversity.

Please note that these points are based solely on the provided content and do not go beyond it.%    

入门

先决条件

• 去（> = 1.22.0）
• Docker
• Docker组成

安装

1. 克隆存储库

git clone https://github.com/yourusername/chroma-db.git
cd chroma-db

2. 安装GO软件包
3. 建立GO项目

go build -o chroma-db cmd/main.go

4. 设置Docker容器

确保安装Docker和Docker组合。使用docker-compose.yaml来设置Chroma DB服务。

docker-compose up -d

运行项目

./chroma-db
Usage 
  -load
        Load and embed the data in vectordb
        Provide the path to file Eg: " test/model_params.txt "
  -query
        Query the embedded data and rerank the results
        Provide the query Eg: " what is the difference between mirostat_tau and mirostat_eta? " 

项目结构

• CMD/ ：

  • Main.Go ：运行Chroma DB的入口点。
  • 聊天/ ：
    • Ollama_chat.go ：包含用于与Ollama聊天模型互动的逻辑。

• 内部/常数/ ：

  • 常数：包含整个项目中使用的所有必要常数。

• docker-compose.yaml ：Docker组成配置文件，用于设置Chroma DB服务。

配置

调整internal/constants/constants.go中的配置值，以满足您的需求。这包括以下设置：

Chroma DB URL，租户名称，数据库和名称空间。 Ollama模型类型和URL。

提示GO模板

  < | system | > {{ . SystemPrompt }} < / s >
  < | content | > {{ . Content }} < / s >
  < | user | > {{ . Prompt }} < / s > 

运行vectordb

使用以下命令启动VectordB：

docker compose up

与Ollama聊天

执行与聊天有关的操作：

go run ./cmd/main.go

配置

默认配置值在internal/constants/constants.go中提供，并且可以根据您的需求进行调整。其中一些包括：

• ChromaUrl ， TenantName ， Database ， Namespace
• OllamaModel和OllamaUrl

执照

该项目是根据BSD 3范围许可证的许可 - 有关详细信息，请参见许可证文件。

致谢

• 色度DB
• 霍拉马

对于任何问题或贡献，请在Github上开设问题或提交拉动请求。