LLM Document Chat

redis-llm-document-chat

該存儲庫在此處為聯合Redis/Microsoft博客文章提供了材料。它包含一個jupyter筆記本電腦，演示瞭如何使用redis作為矢量數據庫來存儲和檢索文檔向量。該筆記本還顯示瞭如何使用LlamainDex在文檔中對上下文進行語義搜索，並使用OpenAI提供類似聊天機器人的體驗。

llamaindex-example.mov

入門

LLM文檔聊天教程旨在在Dockerized Jupyter Lab環境上運行，以確保理想的體驗和最小的Python環境雜誌。至少，您需要安裝Docker桌面（隨附Docker Compose ）來運行此示例。

該項目維護一個.env.template ，並具有以下變量預先定義：

 # General OpenAI Env Vars
OPENAI_TEXT_MODEL=gpt-35-turbo
OPENAI_EMBEDDING_MODEL=text-embedding-ada-002
OPENAI_TEMPERATURE=0.7
OPENAI_MAX_TOKENS=50

# OpenAI Direct Env Vars
OPENAI_API_KEY= < your key here >
OPENAI_API_BASE=https://api.openai.com/v1/

# Azure OpenAI Env Vars
# OPENAI_API_VERSION=2023-05-15 # use OPENAI_API_VERSION only with Azure OpenAI
AZURE_EMBED_MODEL_DEPLOYMENT_NAME= < your deployment name here >
AZURE_TEXT_MODEL_DEPLOYMENT_NAME= < your deployment name here >
AZURE_OPENAI_API_BASE=https:// < your deployment name > .openai.azure.com/

# General Env Vars
CHUNK_SIZE=500
CHUNK_OVERLAP=0.2

# Redis Env Vars
REDIS_HOST=redis
REDIS_PORT=6379
REDIS_PASSWORD=

製作此文件以創建.env如下：

$ cp .env.template .env

根據您的選擇更新Env文件的部分：

1. 選擇您的Openai提供商
2. 選擇您的Redis提供商

---

請注意，如果您將此示例託管在Azure上，則可以通過運行以下命令來快速部署帶有正確配置的Redis Enterprise實例的Azure OpenAI和Azure Cache：

az group create -n LLMDocChatRG -l eastus

az deployment group create --template-file infra b icep m ain.bicep -g LLMDocChatRG

要刪除所有Azure資源，只需使用以下方式刪除資源組

az group delete -n LLMDocChatRG

或者，您可以選擇使用以下記錄的OpenAI或其他Redis提供商。

選擇您的Openai提供商

您可以在Azure OpenAi服務（由Azure完全託管和管理）和OpenAI Direct之間進行選擇。

使用Azure Openai（推薦）

要使用Azure Openai，您需要遵循以下說明

1. 創建Azure OpenAI資源。
2. 為文本和嵌入模型創建模型部署。
3. 配置.env文件添加了您的部署的特定值。

AZURE_EMBED_MODEL_DEPLOYMENT_NAME= < your deployment name here >
AZURE_TEXT_MODEL_DEPLOYMENT_NAME= < your deployment name here >
AZURE_OPENAI_API_BASE=https:// < your deployment name > .openai.azure.com/

使用Openai

要使用OpenAI，您需要遵循以下說明

1. 創建一個OpenAI帳戶。
2. 創建一個OpenAI API鍵。
3. 配置.env文件添加了您的部署的特定值。

OPENAI_API_KEY= < your key here >

選擇您的Redis提供商

本教程將需要使用REDIS搜索和查詢功能，包括對向量相似性搜索的支持。運行Redis有三個選項：

1. Redis Enterprise Cloud-免費實例
2. Azure Redis Enterprise（ACRE）
3. Redis Stack（本地Docker）

對於每個，都需要以下選項，並且必須在您的本地.env文件中進行更新：

REDIS_PASSWORD= < your password here >
REDIS_HOST= < your redis host address here >
REDIS_PORT= < your redis port here >

docker目錄中有一些docker-compose.yml文件，在使用遠程redis的情況下（如Acre），將有助於本地旋轉Redis-stack and Redis-stack。

跑步

要通過Docker打開Jupyter環境，請執行以下步驟：

1. 將此存儲庫克隆到您的本地計算機。

2. 將.env.template複製到.env並配置上述概述的值。

3. 與Docker合作運行：

   對於雲或Azure Redis Enterprise

   docker compose -f docker/cloud/docker-compose.yml up

   對於本地（Docker）Redis堆棧

   docker compose -f docker/local/docker-compose.yml up

4. 在您的瀏覽器中打開Jupyter Lab會話，網址為http://127.0.0.1:8888/lab?token={YOUR GENERATED TOKEN} 。檢查令牌字符串的終端日誌。