Download do chroma db rag - chroma db rag -fonte download

chroma db rag

Outro código-fonte

1.0.0

Baixar

Geração aumentada de recuperação com vetordb, abraçando os incorporadores de rosto e re-jogadores

Visão geral do repositório

Este repositório demonstra a integração do Chroma DB, um banco de dados vetorial, com modelos de incorporação para desenvolver um sistema de geração aumentada de recuperação robusta (RAG).

Incorporar opções de modelo

Modelo de incorporação de Ollama :
Abraçando o texto do rosto incorporado :
Modelo de incorporação do OpenAI :

Ranker Integration (HTTP, GRPC)

Para aprimorar a precisão do RAG, podemos incorporar modelos Rankers do HuggingFace. Esses modelos avaliam a semelhança entre os resultados de uma consulta e consulta, retirados do VectordB, o re-classificador classificam os resultados, garantindo que as informações recuperadas sejam relevantes e contextualmente precisas.

Example:
query := " What is Deep Learning? "
retrievedResults := []string{ " Tomatos are fruits... " , " Deep Learning is not... " , " Deep learning is... " }
Response: [{ " index " :2, " score " :0.9987814},{ " index " :1, " score " :0.022949383},{ " index " :0, " score " :0.000076250595}]

Este repositório demonstra como combinar a incorporação e a reanganização para desenvolver um sistema de pano.

Etapas seguidas para implementar este sistema de pano

Configurar banco de dados vetorial :
- Use Chroma DB para armazenar suas incorporações de documentos.
- Apoio aos modelos de incorporação de Ollama e abraçando o rosto TEI.
Documentos de pré -processo :
- Divida seus documentos em pedaços gerenciáveis.
- Gere incorporação para cada pedaço usando um modelo de incorporação como "nomic-embated-text" de Ollama.
Armazenar incorporados :
- Armazene os pedaços e suas incorporações correspondentes no banco de dados de vetores Chroma DB.
Processamento de consulta :
- Quando você tem uma consulta:
  - Gerar uma incorporação para a consulta.
  - Execute uma pesquisa de similaridade no banco de dados do vetor para identificar os pedaços mais relevantes com base em suas incorporações.
  - Recupere esses pedaços como contexto para sua consulta.
  - Reranqueie os resultados usando o Reranker de Hugging Face
Integrar -se ao provedor LLM :
- Provedores de LLM suportados
  - Ollama
  - Openai
Crie modelo de prompt :
- Projete um modelo rápido que incorpore a consulta original e o contexto recuperado do banco de dados do vetor.
Processo com LLM :
- Envie o prompt aumentado, incluindo a consulta e o contexto re -classificado, para o Modelo de Linguagem Grande (LLM) para processamento e geração de respostas.

Isso permite aprimorar as tarefas de processamento de linguagem, aproveitando o poder dos bancos de dados de vetores e modelos avançados de incorporação.

Resultados da amostra

<|user|> what is mirostat_tau?</s>:-
Based on the provided content, I can answer your query.

** Query Result: ** Mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)

** Document Content: **

mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)
float
mirostat_tau 5.0

** Additional Information on this Topic: **

Here are three main points related to Mirostat_tau:

1. ** Coherence vs Diversity: ** Mirostat_tau controls the balance between coherence and diversity of the output, which means it determines how focused or creative the generated text will be.
2. ** Lower Values Mean More Focus: ** A lower value for mirostat_tau results in more focused and coherent text, while a higher value allows for more diverse and potentially less coherent output.
3. ** Default Value: ** The default value for Mirostat_tau is 5.0, which means that if no specific value is provided, the model will generate text with a balance between coherence and diversity.

Please note that these points are based solely on the provided content and do not go beyond it.%

Começando

Pré -requisitos

Vá (> = 1.22.0)
Docker
Docker compor

Instalação

Clone o repositório

git clone https://github.com/yourusername/chroma-db.git
cd chroma-db

Instale pacotes Go
Build the Go Project

go build -o chroma-db cmd/main.go

Configure os contêineres do Docker

Verifique se o docker e o docker compostos estão instalados. Use o docker-compose.yaml para configurar o serviço Chroma DB.

docker-compose up -d

Executando o projeto

./chroma-db
Usage 
  -load
        Load and embed the data in vectordb
        Provide the path to file Eg: " test/model_params.txt "
  -query
        Query the embedded data and rerank the results
        Provide the query Eg: " what is the difference between mirostat_tau and mirostat_eta? "

Estrutura do projeto

cmd/ :
- Main.GO : ponto de entrada para executar o Chroma DB.
- bater papo/ :
  - ollama_chat.go : contém a lógica para interagir com o modelo de bate -papo de Ollama.
interno/ constantes/ :
- Constants.GO : abriga todas as constantes necessárias usadas em todo o projeto.
Docker-compose.yaml : Docker Compõe arquivo de configuração para configurar o serviço Chroma DB.

Configuração

Ajuste os valores de configuração em internal/constants/constants.go para atender às suas necessidades. Isso inclui configurações como:

URL do Chroma DB, nome do inquilino, banco de dados e espaço para nome. Tipo de modelo Ollama e URL.

Modelo de Go Go

  < | system | > {{ . SystemPrompt }} < / s >
  < | content | > {{ . Content }} < / s >
  < | user | > {{ . Prompt }} < / s >

Executando o VectordB

Inicie o VectordB com o seguinte comando:

docker compose up

Converse com Ollama

Executar operações relacionadas ao bate-papo:

go run ./cmd/main.go

Configuração

Os valores de configuração padrão são fornecidos em internal/constants/constants.go e podem ser ajustados conforme suas necessidades. Alguns deles incluem: