aisearch openai rag audio

VoiceRag: un modèle d'application pour Rag + Voice en utilisant la recherche Azure AI et l'API GPT-4O en temps réel pour l'audio

Ce dépôt contient un exemple de la façon d'implémenter la prise en charge des chiffons dans les applications qui utilisent la voix comme interface utilisateur, alimentée par l'API GPT-4O en temps réel pour l'audio. Nous décrivons le modèle plus en détail dans ce billet de blog, et vous pouvez voir cet exemple d'application en action dans cette courte vidéo.

• Caractéristiques
• Schéma d'architecture
• Commencer
  • GiTHub Codespaces
  • VS CODE CONTEURS DE DEV
  • Environnement local
• Déploiement de l'application
• Serveur de développement

Caractéristiques

• Interface vocale : l'application utilise le microphone du navigateur pour capturer l'entrée vocale et l'envoie au backend où il est traité par l'API Azure Openai GPT-4O en temps réel.
• RAG (récupération de génération augmentée) : l'application utilise le service de recherche Azure AI pour répondre aux questions sur une base de connaissances et envoie les documents récupérés à l'API GPT-4O en temps réel pour générer une réponse.
• Sortie audio : l'application joue la réponse de l'API GPT-4O en temps réel en tant qu'audio, en utilisant les capacités audio du navigateur.
• Citations : l'application affiche les résultats de recherche qui ont été utilisés pour générer la réponse.

Schéma d'architecture

Le RTClient dans le frontend reçoit l'entrée audio, envoie cela au backend Python qui utilise un objet RTMiddleTier pour interfacer avec l'API Azure OpenAI en temps réel et comprend un outil pour la recherche de recherche Azure AI.

Ce référentiel comprend une infrastructure en tant que code et un Dockerfile pour déployer l'application sur les applications de conteneurs Azure, mais elle peut également être exécutée localement tant que les services Azure AI et les services Azure Openai sont configurés.

Commencer

Vous avez quelques options pour commencer ce modèle. Le moyen le plus rapide de commencer est GitHub Codespaces, car il configurera tous les outils pour vous, mais vous pouvez également le configurer localement. Vous pouvez également utiliser un conteneur de développement VS Code

GiTHub Codespaces

Vous pouvez exécuter ce repo pratiquement en utilisant des codes GitHub, qui ouvriront un code VS basé sur le Web dans votre navigateur:

Une fois que l'espace de codes ouvrira (cela peut prendre plusieurs minutes), ouvrez un nouveau terminal et procédez pour déployer l'application.

VS CODE CONTEURS DE DEV

Vous pouvez exécuter le projet dans votre conteneur de développement local VS Code à l'aide de l'extension des conteneurs Dev:

1. Démarrer Docker Desktop (l'installez-le s'il n'est pas déjà installé)

2. Ouvrez le projet:

3. Dans la fenêtre VS Code qui s'ouvre, une fois que les fichiers du projet s'affichent (cela peut prendre plusieurs minutes), ouvrez un nouveau terminal et déployez l'application.

Environnement local

1. Installez les outils requis:

   • Développeur Azure CLI
   • Node.js
   • Python> = 3.11
     • IMPORTANT : Python et le gestionnaire de packages PIP doivent être dans le chemin d'accès dans Windows pour que les scripts de configuration fonctionnent.
     • IMPORTANT : Assurez-vous que vous pouvez exécuter python --version à partir de la console. Sur Ubuntu, vous devrez peut-être exécuter sudo apt install python-is-python3 pour lier python à python3 .
   • Git
   • PowerShell - pour les utilisateurs de Windows uniquement.

2. Clone the Repo ( git clone https://github.com/Azure-Samples/aisearch-openai-rag-audio )

3. Passez à la section suivante pour déployer l'application.

Déploiement de l'application

Les étapes ci-dessous provisionnent Azure Resources et déploieront le code d'application sur Azure Container Apps.

1. Connectez-vous à votre compte Azure:

   azd auth login

   Pour les utilisateurs de GitHub Codespaces, si la commande précédente échoue, essayez:

    azd auth login --use-device-code

2. Créez un nouvel environnement AZD:

   azd env new

   Entrez un nom qui sera utilisé pour le groupe de ressources. Cela créera un nouveau dossier dans le dossier .azure et le définira comme l'environnement actif pour tous les appels à azd à l'avenir.

3. (Facultatif) C'est le point où vous pouvez personnaliser le déploiement en définissant les variables d'environnement AZD, afin d'utiliser les services existants ou de personnaliser le choix vocal.

4. Exécutez cette commande unique pour provisionner les ressources, déployer le code et configurer la vectorisation intégrée pour l'exemple de données:

   azd up

   • IMPORTANT : Méfiez-vous que les ressources créées par cette commande entraîneront des coûts immédiats, principalement à partir de la ressource de recherche AI. Ces ressources peuvent augmenter les coûts même si vous interrompez la commande avant d'être entièrement exécutée. Vous pouvez exécuter azd down ou supprimer les ressources manuellement pour éviter les dépenses inutiles.
   • Vous serez invité à sélectionner deux emplacements, un pour la majorité des ressources et un pour la ressource OpenAI, qui est actuellement une courte liste. Cette liste de localisation est basée sur la table de disponibilité du modèle OpenAI et peut devenir dépassée à mesure que les changements de disponibilité.

5. Une fois que l'application a été déployée avec succès, vous verrez une URL imprimée à la console. Accédez à cette URL pour interagir avec l'application dans votre navigateur. Pour essayer l'application, cliquez sur "Démarrer le bouton Conversation", dites "Bonjour", puis posez une question sur vos données comme "Quelle est la politique de dénonciateur pour Contoso Electronics?" Vous pouvez également exécuter l'application localement en suivant les instructions dans la section suivante.

Serveur de développement

Vous pouvez exécuter cette application localement en utilisant soit les services Azure que vous avez fournis en suivant les instructions de déploiement, ou en pointant l'application locale aux services déjà existants.

1. Si vous avez déployé avec azd up , vous devriez voir un fichier app/backend/.env avec les variables d'environnement nécessaires.

2. Si vous n'utilisez pas azd up , vous devrez créer un fichier app/backend/.env avec les variables d'environnement suivantes:

   AZURE_OPENAI_ENDPOINT=wss:// < your instance name > .openai.azure.com
   AZURE_OPENAI_REALTIME_DEPLOYMENT=gpt-4o-realtime-preview
   AZURE_OPENAI_REALTIME_VOICE_CHOICE= < choose one: echo, alloy, shimmer >
   AZURE_OPENAI_API_KEY= < your api key >
   AZURE_SEARCH_ENDPOINT=https:// < your service name > .search.windows.net
   AZURE_SEARCH_INDEX= < your index name >
   AZURE_SEARCH_API_KEY= < your api key >

   Pour utiliser l'ID ENTRA (votre utilisateur lors de l'exécution locale, l'identité gérée lors du déploiement) ne définissez tout simplement pas les clés.

3. Exécutez cette commande pour démarrer l'application:

   Windows:

   pwsh .scriptsstart.ps1

   Linux / Mac:

   ./scripts/start.sh

4. L'application est disponible sur http: // localhost: 8765.

   Une fois l'application en cours d'exécution, lorsque vous naviguez vers l'URL ci-dessus, vous devriez voir l'écran de démarrage de l'application:

   Pour essayer l'application, cliquez sur "Démarrer le bouton Conversation", dites "Bonjour", puis posez une question sur vos données comme "Quelle est la politique de dénonciateur pour Contoso Electronics?"

Conseils

Frais

Le prix varie par région et par utilisation, il n'est donc pas possible de prédire les coûts exacts de votre utilisation. Cependant, vous pouvez essayer la calculatrice de tarification Azure pour les ressources ci-dessous.

• Azure Container Apps: Plan de consommation avec 1 noyau CPU, 2,0 Go de RAM. Prix ​​avec pay-as-you-go. Prix
• Azure Openai: Tier standard, GPT-4O-Realtime et Text-Embedding-3-Grown. Prix ​​par jetons 1K utilisés. Prix
• Azure AI Search: Tier standard, 1 réplique, niveau libre de recherche sémantique. Prix ​​par heure. Prix
• Azure Blob Storage: Tier standard avec ZRS (stockage de zone de zone). Prix ​​par opération de stockage et de lecture. Prix
• Azure Monitor: Pay-As-You-Go. Coûts basés sur les données ingérées. Prix

Pour réduire les coûts, vous pouvez passer aux SKU gratuits pour divers services, mais ces SKU ont des limitations.

️ Pour éviter les coûts inutiles, n'oubliez pas de supprimer votre application si elle n'est plus utilisée, soit en supprimant le groupe de ressources dans le portail ou en azd down .

Sécurité

Ce modèle utilise l'identité gérée pour éliminer la nécessité pour les développeurs de gérer ces informations d'identification. Les applications peuvent utiliser des identités gérées pour obtenir des jetons Microsoft Entra sans avoir à gérer les informations d'identification.

Notes

Exemples de données: les documents PDF utilisés dans cette démo contiennent des informations générées à l'aide d'un modèle de langue (service Azure OpenAI). Les informations contenues dans ces documents sont uniquement à des fins de démonstration et ne reflètent pas les opinions ou les croyances de Microsoft. Microsoft ne fait aucune représentation ou garantie d'aucune sorte, expresse ou implicite, sur l'exhaustivité, l'exactitude, la fiabilité, la pertinence ou la disponibilité en ce qui concerne les informations contenues dans ce document. Tous droits réservés à Microsoft.

Ressources

• Post de blog: Voicerag
• Vidéo de démonstration: Voicerag
• Documentation Azure Openai en temps réel