azure openai redis deployment

Modelo de implantação do Azure OpenAi Redis

O modelo TerraForm automatiza a implantação de ponta a ponta dos aplicativos do Azure OpenAI usando a Redis Enterprise como um banco de dados vetorial.

Em um único script de terraform que ele implanta:

• Instância do Azure OpenAi com modelos text-davinci-003 e text-embedding-ada-002
• Azure Redis Enterprise como um banco de dados vetorial
• Balde de armazenamento do Azure com todos os arquivos da pasta ./docs
• App do Azure Web

Exemplo de aplicativo

Um exemplo de aplicativo usado neste repositório permite que você use o ChatGPT para analisar os documentos, anteriormente desconhecidos para conversar e/ou internos à sua organização.

Existem dois fluxos de dados no aplicativo. Primeiro - geração de lote de incorporação do contexto do documento. Essas incorporações são armazenadas no Azure Redis Enterprise. Segundo - usando essas incorporações para gerar o prompt de reconhecimento de contexto para o ChatGPT, para que responda perguntas, com base no contexto dos documentos internos.

Perguntas que você pode tentar:

• Quais são as principais diferenças entre os três tipos de motor disponíveis para o Chevy Colorado? Formate a resposta como uma tabela com o modelo como uma primeira coluna

• Quais opções de cores estão disponíveis? Formato como uma lista

Créditos do aplicativo-https://github.com/redisventures/llm-document-chat

Implantando o aplicativo

Autentique o Azure CLI à sua conta do Azure:

 az login

Implante a configuração do Terraform:

 terraform init
terraform apply

Você pode adicionar seus próprios documentos à pasta ./docs (PDF ou texto simples), para que eles possam ser carregados no balde durante a implantação.

Pode levar até 20 minutos para provisionar toda a infraestrutura necessária.

No final, o Script Terraform em produza um monte de variáveis.

 app-url = "redis-openai-83903-webapp.azurewebsites.net"
openai-endpoint = "https://redis-openai-83903.openai.azure.com/"
openai-key = <sensitive>
redis-endpoint = "redis-openai-83903-redisenterprise.southcentralus.redisenterprise.cache.azure.net"
redis-password = <sensitive>
redis-port = 10000
storage-account = "redisopenai83903bucket"
storage-account-connection-string = <sensitive>
storage-container = "data"

App-URL pode ser usado para acessar imediatamente o aplicativo.

Configuração

Use terraform.tfvars ou terraform apply -var="name_prefix=my-deployment" para substituir o prefixo do nome do recurso padrão e a imagem do contêiner para implantar com o WebApp.

Para alterar o aplicativo, implantado como um aplicativo da Web do Azure - altere os valores app_docker_image e app_docker_tag no terraform.tfvars . O código -fonte do aplicativo padrão está incluído neste repo na pasta ./app .

Pererequisitos e limitações

Conta do Azure, Azure CLI, Terraform CLI instalado localmente.

Atualmente, o Azure Open IA (maio de 2023) está na visualização privada. Você precisa enviar a solicitação à Microsoft para ativá -la para sua conta.

API de incorporação do Azure OpenAI atualmente possui limites estritas na frequência de solicitação, o que pode torná -lo viável para uma geração de incorporação a granel. Considere usar a incorporação local como:

  from langchain.embeddings import HuggingFaceEmbeddings
  embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")

Testando localmente

Embora o Azure Openai e o Azure Redis Enterprise não possam ser implantados localmente, você pode usar sua máquina local para testar o próprio aplicativo.

Depois de executar a terraform apply você pode usar os serviços do Azure gerado para testar o código do seu aplicativo localmente. Use .env.template como exemplo e preencha -o com teclas e URLs reais.

 docker build -t llm-chat .  
docker run -it -p 80:80 --env-file=.env llm-chat

Construindo/empurrando a imagem multiplataforma (útil para o desenvolvimento local no MAC/ARM):

 docker buildx build --platform linux/amd64,linux/arm64 -t antonum/llmchat:latest --push  .

Solução de problemas

• Problema: azurerm_cognitive_account.openai ficou na creating da fase.

No momento da redação (maio de 2023), o Azure ocasionalmente enfrenta problemas que implantam serviços OpenAI. Tente implantar a pilha em outra região. Por exemplo, defina azure_region = "southcentralus" em vez de eastus .

• Problema : A implantação falha com um erro: SpecialFeatureOrQuotaIdRequired: The subscription does not have QuotaId/Feature required by SKU 'S0' from kind 'OpenAI'

Sua conta do Azure não possui o Azure OpenAi ativado. No momento da redação (maio de 2023), o Azure Openai está em pré -visualização privada. Você precisa enviar a solicitação à Microsoft para ativá -la para sua assinatura.

Limpar

Para destruir todos os recursos implantados de execução:

 terraform destroy