LLM Document Chat

Redis-llm-Document-Chat

Этот репозиторий предоставляет материалы для совместного сообщения в блоге Redis/Microsoft здесь. Он содержит ноутбук Jupyter, которая демонстрирует, как использовать Redis в качестве векторной базы данных для хранения и получения векторов документов. В ноутбуке также показано, как использовать LmamainDex для выполнения семантического поиска контекста в документах и ​​предоставления опыта, подобного чат-боту с использованием OpenAI.

Lmamaindex-Example.mov

Начиная

Учебное пособие по чату LLM предназначено для работы в лабораторной среде Jupyter, чтобы обеспечить идеальный опыт и минимальную среду Python Hickups. Как минимум, вам нужно будет установить Docker Desktop ( который поставляется с Docker Compose ), чтобы запустить этот пример.

Проект поддерживает .env.template

 # General OpenAI Env Vars
OPENAI_TEXT_MODEL=gpt-35-turbo
OPENAI_EMBEDDING_MODEL=text-embedding-ada-002
OPENAI_TEMPERATURE=0.7
OPENAI_MAX_TOKENS=50

# OpenAI Direct Env Vars
OPENAI_API_KEY= < your key here >
OPENAI_API_BASE=https://api.openai.com/v1/

# Azure OpenAI Env Vars
# OPENAI_API_VERSION=2023-05-15 # use OPENAI_API_VERSION only with Azure OpenAI
AZURE_EMBED_MODEL_DEPLOYMENT_NAME= < your deployment name here >
AZURE_TEXT_MODEL_DEPLOYMENT_NAME= < your deployment name here >
AZURE_OPENAI_API_BASE=https:// < your deployment name > .openai.azure.com/

# General Env Vars
CHUNK_SIZE=500
CHUNK_OVERLAP=0.2

# Redis Env Vars
REDIS_HOST=redis
REDIS_PORT=6379
REDIS_PASSWORD=

Сделайте копию этого файла для создания .env следующим образом:

$ cp .env.template .env

Обновите части файла ENV на основе вашего выбора ниже:

1. Выберите свой провайдер OpenAI
2. Выберите свой поставщик Redis

---

Примечание, если вы размещаете этот пример в Azure, вы можете быстро развернуть Azure OpenAI и кэш Azure для экземпляра Redis Enterprise с правильными конфигурациями, выполнив следующие команды:

az group create -n LLMDocChatRG -l eastus

az deployment group create --template-file infra b icep m ain.bicep -g LLMDocChatRG

Чтобы удалить все ресурсы Azure, просто удалите группу ресурсов, используя:

az group delete -n LLMDocChatRG

С другой стороны, вы можете использовать OpenAI или других поставщиков Redis, как задокументировано ниже.

Выберите свой провайдер OpenAI

Вы можете выбрать между Azure Openai Service (полностью размещенным и управляемым Azure) и Openai Direct.

Чтобы использовать Azure Openai (рекомендуется)

Чтобы использовать Azure Openai, вам нужно будет следовать этим инструкциям

1. Создайте ресурс Azure Openai.
2. Создайте развертывание моделей для моделей текста и встраивания.
3. Настройте файл .env Добавить конкретные значения для вашего развертывания.

AZURE_EMBED_MODEL_DEPLOYMENT_NAME= < your deployment name here >
AZURE_TEXT_MODEL_DEPLOYMENT_NAME= < your deployment name here >
AZURE_OPENAI_API_BASE=https:// < your deployment name > .openai.azure.com/

Использовать OpenAI

Чтобы использовать OpenAI, вам нужно будет следовать этим инструкциям

1. Создайте аккаунт OpenAI.
2. Создайте ключ API OpenAI.
3. Настройте файл .env Добавить конкретные значения для вашего развертывания.

OPENAI_API_KEY= < your key here >

Выберите свой поставщик Redis

Учебное пособие потребует использования функций поиска и запросов Redis, включая поддержку поиска сходства вектора. Есть три варианта запуска Redis:

1. Redis Enterprise Cloud - бесплатный экземпляр
2. Azure Redis Enterprise (ACRE)
3. Redis Stack (локальный докер)

Для каждого из них требуются следующие параметры и должны быть обновлены в вашем локальном файле .env :

REDIS_PASSWORD= < your password here >
REDIS_HOST= < your redis host address here >
REDIS_PORT= < your redis port here >

В каталоге docker есть некоторые файлы docker-compose.yml , которые помогут развернуть Redis-Stack локально и Redisinsight в случае, когда используется удаленный Redis (например, Acre).

Бегать

Чтобы открыть среду Jupyter через Docker, выполните следующие действия:

1. Клонировать этот репозиторий на местную машину.

2. Скопируйте .env.template на .env и настройте значения, как указано выше.

3. Беги с Docker Compose:

   Для облака или Azure Redis Enterprise

   docker compose -f docker/cloud/docker-compose.yml up

   Для локального (Docker) Redis Stack

   docker compose -f docker/local/docker-compose.yml up

4. Откройте лабораторную сессию Jupyter в вашем браузере по адресу http://127.0.0.1:8888/lab?token={YOUR GENERATED TOKEN} . Проверьте журналы терминала для строки токена.