aisearch openai rag audio下載-Aisearch aisearch openai rag audio源代碼下載

aisearch openai rag audio

其他源碼

1.0.0

下載

Voicerag：使用Azure AI搜索和AUDIO的GPT-4O實時API使用抹布 +語音的應用模式

此存儲庫包含一個如何在使用語音作為用戶界面的應用程序中實現抹布支持的示例，該應用程序由GPT-4O實時API供電，用於音頻。我們在此博客文章中更詳細地描述了該模式，您可以在此簡短視頻中看到此示例應用程序。

特徵
建築圖
入門
- github代碼
- VS代碼開發容器
- 當地環境
部署應用程序
開發服務器

特徵

語音界面：該應用程序使用瀏覽器的麥克風捕獲語音輸入，並將其發送到由Azure OpenAI GPT-4O實時API處理的後端。
RAG（檢索增強生成） ：該應用使用Azure AI搜索服務回答有關知識庫的問題，並將檢索到的文檔發送到GPT-4O實時API中以生成響應。
音頻輸出：該應用使用瀏覽器的音頻功能播放GPT-4O實時API作為音頻的響應。
引用：該應用顯示用於生成響應的搜索結果。

建築圖

前端中的RTClient接收音頻輸入，將其發送到Python後端，該後端使用RTMiddleTier對象與Azure OpenAI實時API接口，並包括用於搜索Azure AI搜索的工具。

實時抹布圖的圖

該存儲庫包括作為代碼的基礎架構和Dockerfile將應用程序部署到Azure容器應用程序中，但是只要配置Azure AI搜索和Azure OpenAI服務，它也可以在本地運行。

入門

您有一些開始使用此模板的選擇。最快入門的方法是GitHub代碼空間，因為它將為您設置所有工具，但您也可以在本地設置它。您也可以使用VS代碼DEV容器

github代碼

您可以通過使用github codespese實際上運行此存儲庫，該碼將在瀏覽器中打開基於Web的VS代碼：

CodeSpace打開（這可能需要幾分鐘）後，打開一個新的終端並繼續部署該應用程序。

VS代碼開發容器

您可以使用Dev容器擴展名中的本地VS代碼DEV容器運行該項目：

啟動Docker Desktop（如果尚未安裝的話，請安裝它）
打開項目：
在打開的VS代碼窗口中，一旦顯示了項目文件（這可能需要幾分鐘），打開一個新的終端，然後繼續部署該應用程序。

當地環境

安裝所需的工具：
- Azure開發人員CLI
- node.js
- Python> = 3.11
  - 重要的是：Python和Pip軟件包管理器必須在Windows中的路徑中，以使其設置腳本工作。
  - 重要的是：確保您可以從控制台上運行python --version 。在Ubuntu上，您可能需要運行sudo apt install python-is-python3將python鏈接到python3 。
- git
- PowerShell-僅適用於Windows用戶。
克隆倉庫（ git clone https://github.com/Azure-Samples/aisearch-openai-rag-audio ）
繼續前往下一部分以部署應用程序。

部署應用程序

以下步驟將提供Azure資源，並將應用程序代碼部署到Azure容器應用程序。

登錄到您的Azure帳戶：
```
azd auth login
```
對於github代碼，如果上一個命令失敗，請嘗試：
```
 azd auth login --use-device-code
```
創建一個新的AZD環境：
```
azd env new
```
輸入將用於資源組的名稱。這將在.azure文件夾中創建一個新文件夾，並將其設置為azd的任何調用的活動環境。
（可選）這是您可以通過設置AZD環境變量來自定義部署的點，以便使用現有服務或自定義語音選擇。
運行此單個命令以為示例數據提供資源，部署代碼和設置集成矢量化：
```
azd up
```
- 重要的是：注意此命令創建的資源將立即產生立即成本，主要是從AI搜索資源中產生的。即使您在完全執行命令之前中斷命令，這些資源也可能會產生成本。您可以azd down或手動刪除資源，以避免不必要的支出。
- 將提示您選擇兩個位置，一個用於大多數資源，一個用於OpenAI資源，目前是一個簡短列表。該位置列表基於OpenAI模型可用性表，隨著可用性的變化，可能會過時。
成功部署應用程序後，您將看到將URL打印到控制台。導航到該URL與瀏覽器中的應用程序進行交互。要嘗試使用該應用程序，請單擊“開始對話按鈕”，說“ Hello”，然後詢問您的數據問題，例如“ Contoso Electronics的舉報人政策是什麼？”您現在也可以按照下一節中的說明在本地運行該應用程序。

開發服務器

您可以使用按照部署說明或將本地應用指向已經存在的服務，可以在本地運行此應用程序。

如果您使用azd up部署，則應查看具有必要環境變量的app/backend/.env文件。

如果不使用azd up ，則需要使用以下環境變量創建app/backend/.env文件：

AZURE_OPENAI_ENDPOINT=wss:// < your instance name > .openai.azure.com
AZURE_OPENAI_REALTIME_DEPLOYMENT=gpt-4o-realtime-preview
AZURE_OPENAI_REALTIME_VOICE_CHOICE= < choose one: echo, alloy, shimmer >
AZURE_OPENAI_API_KEY= < your api key >
AZURE_SEARCH_ENDPOINT=https:// < your service name > .search.windows.net
AZURE_SEARCH_INDEX= < your index name >
AZURE_SEARCH_API_KEY= < your api key >

要使用ENTRA ID（您的用戶在本地運行時，部署時託管身份）根本不會設置鍵。

運行此命令啟動該應用程序：
視窗：
```
pwsh .scriptsstart.ps1
```
Linux/Mac：
```
./scripts/start.sh
```
該應用程序可在http：// localhost：8765上找到。
應用程序運行後，當您導航到上方的URL時，您應該看到應用程序的開始屏幕：
要嘗試使用該應用程序，請單擊“開始對話按鈕”，說“ Hello”，然後詢問您的數據問題，例如“ Contoso Electronics的舉報人政策是什麼？”