chroma db rag

Recuperación de generación aumentada con vectordb, abrazando a la cara incrustadas y volviendo a rankers

Descripción general del repositorio

Este repositorio demuestra la integración de Chroma DB, una base de datos de vectores, con modelos de incrustación para desarrollar un sistema de generación aumentada de recuperación (RAG) robusta.

Incrusco de opciones de modelo

1. Modelo de incrustación de Ollama :
2. Abrazamiento de texto de la cara abrazando :
3. Modelo de incrustación de OpenAI :

Integración de re-ranker (HTTP, GRPC)

Para mejorar la precisión de RAG, podemos incorporar modelos de re-rankers de Huggingface. Estos modelos evalúan la similitud entre una consulta y los resultados de la consulta retenidos de VectordB, el re-ranker clasifica los resultados mediante el índice asegurando que la información recuperada sea relevante y contextualmente precisa.

Example:
query := " What is Deep Learning? "
retrievedResults := []string{ " Tomatos are fruits... " , " Deep Learning is not... " , " Deep learning is... " }
Response: [{ " index " :2, " score " :0.9987814},{ " index " :1, " score " :0.022949383},{ " index " :0, " score " :0.000076250595}]

Este repositorio demuestra cómo combinar la incrustación y la reorganización para desarrollar un sistema RAG.

Pasos seguidos para implementar este sistema de trapo

1. Configurar la base de datos Vector :

   • Use Chroma DB para almacenar sus incrustaciones de documentos.
   • Apoyo a los modelos de incrustación de Ollama y abrazando a Tei.

2. Documentos de preprocesamiento :

   • Divida sus documentos en trozos manejables.
   • Genere incrustaciones para cada fragmento utilizando un modelo de incrustación como "Texto embrujado" de Ollama.

3. Store incrustaciones :

   • Almacene los trozos y sus incrustaciones correspondientes en la base de datos de vectores de croma DB.

4. Procesamiento de consultas :

   • Cuando tienes una consulta:
     • Genere una incrustación para la consulta.
     • Realice una búsqueda de similitud dentro de la base de datos Vector para identificar los fragmentos más relevantes en función de sus integridades.
     • Recupere estos fragmentos como contexto para su consulta.
     • Vuelva a hacer los resultados usando la cara abrazada Reranker

5. Integrar con el proveedor de LLM :

   • Proveedores de LLM compatibles
     • Ollama
     • Opadai

6. Crear plantilla de inmediato :

   • Diseñe una plantilla de aviso que incorpore la consulta original y el contexto recuperado de la base de datos Vector.

7. Proceso con LLM :

   • Envíe el aviso aumentado, incluida la consulta y el contexto reiniciado, al modelo de lenguaje grande (LLM) para el procesamiento y la generación de respuestas.

Esto permite mejorar las tareas de procesamiento del lenguaje aprovechando el poder de las bases de datos vectoriales y los modelos de incrustación avanzados.

Resultados de la muestra

<|user|> what is mirostat_tau?</s>:-
Based on the provided content, I can answer your query.

** Query Result: ** Mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)

** Document Content: **

mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)
float
mirostat_tau 5.0

** Additional Information on this Topic: **

Here are three main points related to Mirostat_tau:

1. ** Coherence vs Diversity: ** Mirostat_tau controls the balance between coherence and diversity of the output, which means it determines how focused or creative the generated text will be.
2. ** Lower Values Mean More Focus: ** A lower value for mirostat_tau results in more focused and coherent text, while a higher value allows for more diverse and potentially less coherent output.
3. ** Default Value: ** The default value for Mirostat_tau is 5.0, which means that if no specific value is provided, the model will generate text with a balance between coherence and diversity.

Please note that these points are based solely on the provided content and do not go beyond it.%    

Empezando

Requisitos previos

• GO (> = 1.22.0)
• Estibador
• Docker componer

Instalación

1. Clonar el repositorio

git clone https://github.com/yourusername/chroma-db.git
cd chroma-db

2. Instalar paquetes Go
3. Construye el proyecto GO

go build -o chroma-db cmd/main.go

4. Configurar contenedores Docker

Asegúrese de que se instalen Docker y Docker Compose. Use docker-compose.yaml para configurar el servicio Chroma DB.

docker-compose up -d

Ejecutando el proyecto

./chroma-db
Usage 
  -load
        Load and embed the data in vectordb
        Provide the path to file Eg: " test/model_params.txt "
  -query
        Query the embedded data and rerank the results
        Provide the query Eg: " what is the difference between mirostat_tau and mirostat_eta? " 

Estructura de proyectos

• CMD/ :

  • Main.go : punto de entrada para ejecutar el croma DB.
  • charlar/ :
    • Ollama_chat.go : contiene la lógica para interactuar con el modelo de chat Ollama.

• internas/ constantes/ :

  • constantes. GO : alberga todas las constantes necesarias utilizadas en todo el proyecto.

• Docker-compose.yaml : Docker Compose Archue de configuración para configurar el servicio DB Chroma.

Configuración

Ajuste los valores de configuración en internal/constants/constants.go . Esto incluye configuraciones como:

URL de DB de Chroma, nombre del inquilino, base de datos y espacio de nombres. Tipo de modelo Ollama y URL.

Plantilla de Go Go

  < | system | > {{ . SystemPrompt }} < / s >
  < | content | > {{ . Content }} < / s >
  < | user | > {{ . Prompt }} < / s > 

Ejecutando vectordb

Inicie el vectordb con el siguiente comando:

docker compose up

Chatear con Ollama

Ejecutar operaciones relacionadas con el chat:

go run ./cmd/main.go

Configuración

Los valores de configuración predeterminados se proporcionan en internal/constants/constants.go Algunos de estos incluyen:

• ChromaUrl , TenantName , Database , Namespace
• OllamaModel y OllamaUrl

Licencia

Este proyecto tiene licencia bajo la licencia BSD 3 cláusula: consulte el archivo de licencia para obtener más detalles.

Expresiones de gratitud

• Croma db
• Ollama

Para cualquier problema o contribución, abra un problema o envíe una solicitud de extracción en GitHub.