chroma db rag

Поиск дополненного поколения с помощью Vectb, обнимающего лица в Embededders и Re-rankers

Обзор репозитория

Этот репозиторий демонстрирует интеграцию Croma DB, векторной базы данных, с внедрением моделей для разработки надежной системы извлечения дополненного генерации (RAG).

Встроенные параметры модели

1. Оллама модель встраивания :
2. Объятие текстового текста лица :
3. Openai Model Model :

Повторная интеграция (HTTP, GRPC)

Чтобы повысить точность тряпки, мы можем включить модели uggingface re-rankers. Эти модели оценивают сходство между запросом и результатами запроса, возвращенными от VectordB, повторный рейнкер ранжирует результаты по индексу, гарантируя, что полученная информация является актуальной и контекстуально точной.

Example:
query := " What is Deep Learning? "
retrievedResults := []string{ " Tomatos are fruits... " , " Deep Learning is not... " , " Deep learning is... " }
Response: [{ " index " :2, " score " :0.9987814},{ " index " :1, " score " :0.022949383},{ " index " :0, " score " :0.000076250595}]

Этот репозиторий демонстрирует, как комбинировать встраивание и реэнергирование для разработки тряпичной системы.

Следуют шаги для реализации этой тряпичной системы

1. Настройка векторной базы данных :

   • Используйте Chroma DB для хранения ваших документов.
   • Поддержка Ollama встраиваю модели и обнимаю лицо Tei.

2. Предварительные документы :

   • Разделите свои документы на управляемые куски.
   • Создайте встраивание для каждого чанка, используя модель встраивания, такую ​​как «номинальный текст» от Ollama.

3. Магазин Entgeddings :

   • Храните куски и их соответствующие встраиваемые встроенные в векторную базу данных Chroma DB.

4. Обработка запросов :

   • Когда у вас есть запрос:
     • Создайте внедрение для запроса.
     • Выполните поиск сходства в векторной базе данных, чтобы определить наиболее релевантные куски, основанные на их встроениях.
     • Получите эти куски в качестве контекста для вашего запроса.
     • Повторяйте результаты, используя обнимающееся лицо Reranker

5. Интегрируйте с поставщиком LLM :

   • Поддерживаемые поставщики LLM
     • Оллама
     • Openai

6. Создать шаблон приглашения :

   • Разработайте шаблон быстрого приглашения, который включает в себя как исходный запрос, так и контекст, полученный из векторной базы данных.

7. Процесс с LLM :

   • Отправьте дополненную подсказку, включая запрос и переосмысленный контекст, в большую языковую модель (LLM) для обработки и генерации ответов.

Это позволяет улучшать задачи обработки языка, используя силу векторных баз данных и передовых моделей встраивания.

Образец результатов

<|user|> what is mirostat_tau?</s>:-
Based on the provided content, I can answer your query.

** Query Result: ** Mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)

** Document Content: **

mirostat_tau Controls the balance between coherence and diversity of the output. A lower value will result in more focused and coherent text. (Default: 5.0)
float
mirostat_tau 5.0

** Additional Information on this Topic: **

Here are three main points related to Mirostat_tau:

1. ** Coherence vs Diversity: ** Mirostat_tau controls the balance between coherence and diversity of the output, which means it determines how focused or creative the generated text will be.
2. ** Lower Values Mean More Focus: ** A lower value for mirostat_tau results in more focused and coherent text, while a higher value allows for more diverse and potentially less coherent output.
3. ** Default Value: ** The default value for Mirostat_tau is 5.0, which means that if no specific value is provided, the model will generate text with a balance between coherence and diversity.

Please note that these points are based solely on the provided content and do not go beyond it.%    

Начиная

Предварительные условия

• Go (> = 1.22.0)
• Докер
• Docker Compose

Установка

1. Клонировать репозиторий

git clone https://github.com/yourusername/chroma-db.git
cd chroma-db

2. Установите пакеты GO
3. Построить проект GO

go build -o chroma-db cmd/main.go

4. Настройка контейнеров Docker

Убедитесь, что Docker и Docker Compose установлены. Используйте docker-compose.yaml , чтобы настроить сервис Chroma DB.

docker-compose up -d

Запуск проекта

./chroma-db
Usage 
  -load
        Load and embed the data in vectordb
        Provide the path to file Eg: " test/model_params.txt "
  -query
        Query the embedded data and rerank the results
        Provide the query Eg: " what is the difference between mirostat_tau and mirostat_eta? " 

Структура проекта

• CMD/ :

  • main.go : точка входа для запуска Chroma DB.
  • чат/ :
    • OLLAMA_CHAT.GO : содержит логику для взаимодействия с моделью чата Оллама.

• внутренние/ константы/ :

  • Constants.go : Доматся все необходимые константы, используемые по всему проекту.

• Docker-compose.yaml : Docker Compose Configuration File для настройки службы Chroma DB.

Конфигурация

Регулируйте значения конфигурации во internal/constants/constants.go чтобы соответствовать вашим потребностям. Это включает в себя настройки, такие как:

URL Croma DB, имя арендатора, база данных и пространство имен. Оллама тип модели и URL.

Шаблон быстрого хода

  < | system | > {{ . SystemPrompt }} < / s >
  < | content | > {{ . Content }} < / s >
  < | user | > {{ . Prompt }} < / s > 

Бег Vectordb

Запустите Vectordb со следующей командой:

docker compose up

Поговорите с Олламой

Выполнить операции, связанные с чатом:

go run ./cmd/main.go

Конфигурация

Значения конфигурации по умолчанию приведены во internal/constants/constants.go и могут быть скорректированы в соответствии с вашими потребностями. Некоторые из них включают в себя:

• ChromaUrl , TenantName , Database , Namespace
• OllamaModel и OllamaUrl

Лицензия

Этот проект лицензирован по лицензии BSD 3 -CRAUSE - для получения подробной информации см. Файл лицензии.

Благодарности

• Chroma DB
• Оллама

По любым вопросам или взносам, пожалуйста, откройте проблему или отправьте запрос на привлечение на GitHub.