aisearch openai rag audio

VOICERAG: un patrón de aplicación para Rag + Voice usando Azure AI Search y la API real de tiempo real GPT-4O para audio

Este repositorio contiene un ejemplo de cómo implementar el soporte de RAG en aplicaciones que usan Voice como su interfaz de usuario, alimentada por la API REALTIME GPT-4O para audio. Describimos el patrón con más detalle en esta publicación de blog, y puede ver esta aplicación de muestra en acción en este breve video.

• Características
• Diagrama de arquitectura
• Empezando
  • Respaces de códigos Github
  • Vs Code Dev Contenedores
  • Entorno local
• Implementando la aplicación
• Servidor de desarrollo

Características

• Interfaz de voz : la aplicación utiliza el micrófono del navegador para capturar la entrada de voz y lo envía al backend donde es procesado por la API real de tiempo real de Azure OpenAI GPT-4O.
• RAG (Generación de recuperación aumentada) : la aplicación utiliza el servicio de búsqueda Azure AI para responder preguntas sobre una base de conocimiento, y envía los documentos recuperados a la API REALME REAL GPT-4O para generar una respuesta.
• Salida de audio : la aplicación reproduce la respuesta de la API real de tiempo real GPT-4O como audio, utilizando las capacidades de audio del navegador.
• Citas : la aplicación muestra los resultados de búsqueda que se usaron para generar la respuesta.

Diagrama de arquitectura

El RTClient en el frontend recibe la entrada de audio, lo envía al backend de Python que utiliza un objeto RTMiddleTier para interactuar con la API en tiempo real de Azure Openai e incluye una herramienta para buscar la búsqueda de AI AIZ.

Este repositorio incluye infraestructura como código y un Dockerfile para implementar la aplicación en aplicaciones de contenedores Azure, pero también se puede ejecutar localmente siempre que se configuren Azure AI Search y Azure OpenAI.

Empezando

Tiene algunas opciones para comenzar con esta plantilla. La forma más rápida de comenzar es GitHub CodeSpaces, ya que configurará todas las herramientas para usted, pero también puede configurarlo localmente. También puede usar un contenedor de desarrollo de código vs

Respaces de códigos Github

Puede ejecutar este repositorio prácticamente utilizando GitHub CodesPaces, que abrirá un código VS basado en la web en su navegador:

Una vez que se abre el CodeSpace (esto puede tomar varios minutos), abra un nuevo terminal y proceda a implementar la aplicación.

Vs Code Dev Contenedores

Puede ejecutar el proyecto en su contenedor de desarrollo local VS Code utilizando la extensión de contenedores de Dev:

1. Inicie Docker Desktop (instálelo si aún no está instalado)

2. Abra el proyecto:

3. En la ventana VS Código que se abre, una vez que se muestran los archivos del proyecto (esto puede tomar varios minutos), abrir un nuevo terminal y continuar implementando la aplicación.

Entorno local

1. Instale las herramientas requeridas:

   • Desarrollador de Azure CLI
   • Nodo.js
   • Python> = 3.11
     • IMPORTANTE : Python y PIP Package Manager deben estar en la ruta de Windows para que funcionen los scripts de configuración.
     • IMPORTANTE : Asegúrese de que pueda ejecutar python --version de la consola. En Ubuntu, es posible que deba ejecutar sudo apt install python-is-python3 para vincular python a python3 .
   • Git
   • PowerShell: solo para usuarios de Windows.

2. Clon the Repo ( git clone https://github.com/Azure-Samples/aisearch-openai-rag-audio )

3. Proceda a la siguiente sección para implementar la aplicación.

Implementando la aplicación

Los siguientes pasos aprovisionarán los recursos de Azure e implementarán el código de aplicación en las aplicaciones de contenedores de Azure.

1. Inicie sesión en su cuenta de Azure:

   azd auth login

   Para los usuarios de CodeSpaces de GitHub, si el comando anterior falla, intente:

    azd auth login --use-device-code

2. Crea un nuevo entorno AZD:

   azd env new

   Ingrese un nombre que se utilizará para el grupo de recursos. Esto creará una nueva carpeta en la carpeta .azure y la establecerá como el entorno activo para cualquier llamada a azd en el futuro.

3. (Opcional) Este es el punto en el que puede personalizar la implementación estableciendo variables de entorno AZD, para usar los servicios existentes o personalizar la elección de voz.

4. Ejecute este comando único para aprovisionar los recursos, implementar el código y configurar la vectorización integrada para los datos de muestra:

   azd up

   • Importante : Tenga en cuenta que los recursos creados por este comando incurrirán en costos inmediatos, principalmente del recurso de búsqueda de IA. Estos recursos pueden acumular costos incluso si interrumpe el comando antes de que se ejecute por completo. Puede ejecutar azd down o eliminar los recursos manualmente para evitar el gasto innecesario.
   • Se le solicitará que seleccione dos ubicaciones, una para la mayoría de los recursos y otra para el recurso Operai, que actualmente es una lista corta. Esa lista de ubicaciones se basa en la tabla de disponibilidad del modelo Operai y puede quedarse obsoleto a medida que los cambios de disponibilidad.

5. Después de que la aplicación se haya implementado con éxito, verá una URL impresa en la consola. Navegue a esa URL para interactuar con la aplicación en su navegador. Para probar la aplicación, haga clic en el "botón de conversación de inicio", diga "hola" y luego haga una pregunta sobre sus datos como "¿Cuál es la política de denuncia de denuncia para la electrónica Contoso?" Ahora también puede ejecutar la aplicación localmente siguiendo las instrucciones en la siguiente sección.

Servidor de desarrollo

Puede ejecutar esta aplicación localmente utilizando los servicios de Azure que aprovisionó siguiendo las instrucciones de implementación o señalando la aplicación local en los servicios ya existentes.

1. Si implementó con azd up , debería ver un archivo de app/backend/.env con las variables de entorno necesarias.

2. Si no usó azd up , deberá crear el archivo app/backend/.env con las siguientes variables de entorno:

   AZURE_OPENAI_ENDPOINT=wss:// < your instance name > .openai.azure.com
   AZURE_OPENAI_REALTIME_DEPLOYMENT=gpt-4o-realtime-preview
   AZURE_OPENAI_REALTIME_VOICE_CHOICE= < choose one: echo, alloy, shimmer >
   AZURE_OPENAI_API_KEY= < your api key >
   AZURE_SEARCH_ENDPOINT=https:// < your service name > .search.windows.net
   AZURE_SEARCH_INDEX= < your index name >
   AZURE_SEARCH_API_KEY= < your api key >

   Para usar ID de Entrra (su usuario cuando se ejecuta localmente, la identidad administrada cuando se implementa) simplemente no establezca las teclas.

3. Ejecute este comando para iniciar la aplicación:

   Windows:

   pwsh .scriptsstart.ps1

   Linux/Mac:

   ./scripts/start.sh

4. La aplicación está disponible en http: // localhost: 8765.

   Una vez que la aplicación se está ejecutando, cuando navegue a la URL anterior, debe ver la pantalla de inicio de la aplicación:

   Para probar la aplicación, haga clic en el "botón de conversación de inicio", diga "hola" y luego haga una pregunta sobre sus datos como "¿Cuál es la política de denuncia de denuncia para la electrónica Contoso?"

Guía

Costo

El precio varía por región y uso, por lo que no es posible predecir los costos exactos para su uso. Sin embargo, puede probar la calculadora de precios de Azure para los recursos a continuación.

• Aplicaciones de contenedores Azure: Plan de consumo con 1 CPU Core, 2.0 GB de RAM. Precios con pago por uso. Fijación de precios
• Azure Openai: nivel estándar, GPT-4O-RealTime y Text-Embedding-3-Large. Precios por 1K tokens utilizados. Fijación de precios
• Azure AI Search: Nivel estándar, 1 réplica, nivel gratuito de búsqueda semántica. Precios por hora. Fijación de precios
• Almacenamiento de blob Azure: nivel estándar con ZRS (almacenamiento redundante de zona). Precios por almacenamiento y operaciones de lectura. Fijación de precios
• Azure Monitor: nivel de pago por uso. Costos basados ​​en datos ingeridos. Fijación de precios

Para reducir los costos, puede cambiar a SKU gratuitos para varios servicios, pero esos SKU tienen limitaciones.

️ Para evitar costos innecesarios, recuerde eliminar su aplicación si ya no está en uso, ya sea eliminando el grupo de recursos en el portal o ejecutando azd down .

Seguridad

Esta plantilla utiliza identidad administrada para eliminar la necesidad de que los desarrolladores administren estas credenciales. Las aplicaciones pueden usar identidades administradas para obtener tokens Microsoft Entra sin tener que administrar ninguna credencial. Para garantizar las mejores prácticas en su repositorio, recomendamos a cualquiera que cree soluciones basadas en nuestras plantillas, asegure que la configuración de escaneo secreto de GitHub esté habilitado en sus repos.

Notas

Datos de muestra: Los documentos PDF utilizados en esta demostración contienen información generada utilizando un modelo de idioma (servicio Azure OpenAI). La información contenida en estos documentos es solo para fines de demostración y no refleja las opiniones o creencias de Microsoft. Microsoft no hace representaciones o garantías de ningún tipo, expresas o implícitas, sobre la integridad, precisión, confiabilidad, idoneidad o disponibilidad con respecto a la información contenida en este documento. Todos los derechos reservados para Microsoft.

Recursos

• Publicación del blog: Voicerag
• Video de demostración: Voicerag
• Documentación de tiempo real de Azure Openai