尋找JS/TS庫？查看代理
我們正在與OpenAI合作，在代理框架中使用新的MultimodalAgent API。該課程完全包裝OpenAI的實時API，抽象了原線協議，並在GPT-4O和您的用戶設備之間提供了超低的延遲WEBRTC傳輸。同樣的堆棧為ChatGpt應用程序中的高級語音提供動力。
代理框架使您可以構建可以實時看到，聽到和講話的AI驅動服務器程序。您的代理通過LiveKit會話與最終用戶設備連接。在該會話中，您的代理可以從用戶的設備處理文本，音頻，圖像或視頻流，並使AI模型生成與輸出相同模式的任何組合，並將其流回用戶。
安裝核心代理庫：
pip install livekit-agents該框架包括各種插件，使得易於處理流式輸入或生成輸出。例如，有用於轉換文本到語音或使用流行LLM的推斷的插件。這是您可以安裝插件的方法：
pip install livekit-plugins-openai如今可用以下插件：
| 插件 | 特徵 |
|---|---|
| LiveKit-Plugins-Manthropic | LLM |
| LiveKit-Plugins-Assemblyai | stt |
| LiveKit-Plugins-azure | Stt，TTS |
| LiveKit-Plugins-Deepgram | stt |
| LiveKit-Plugins-Cartesia | TTS |
| LiveKit-Plugins-Extrabs | TTS |
| LiveKit-Plugins-Playht | TTS |
| LiveKit-Plugins-Google | Stt，TTS |
| LiveKit-Plugins-nltk | 處理文本的實用程序 |
| LiveKit-Plugins-rag | 執行抹布的實用程序 |
| LiveKit-Plugins-Openai | LLM，STT，TTS，助手API，實時API |
| LiveKit-Plugins-Silero | vad |
有關框架以及如何使用的文檔可以在此處找到
| 描述 | 演示鏈接 | 代碼鏈接 |
|---|---|---|
| 使用STT，LLM和TTS的管道的基本語音代理 | 演示 | 代碼 |
| 語音代理使用新的OpenAI實時API | 演示 | 代碼 |
| 超快速的語音代理使用腦託管Llama 3.1 | 演示 | 代碼 |
| 使用Cartesia的聲音模型的語音代理 | 演示 | N/A。 |
| 通過功能通話來查找當前天氣的代理商 | N/A。 | 代碼 |
| 語音代理執行基於抹布的查找 | N/A。 | 代碼 |
| 發布RGB幀流的視頻代理 | N/A。 | 代碼 |
| 從用戶的語音中生成文本字幕的轉錄代理 | N/A。 | 代碼 |
| 您可以發短信的聊天代理，將通過生成的語音回复 | N/A。 | 代碼 |
| Local主機多代理電話會議 | N/A。 | 代碼 |
| 使用Hive檢測垃圾郵件/濫用視頻的節制代理 | N/A。 | 代碼 |
代理框架在快速發展的領域正在積極發展。我們歡迎並欣賞任何形式的貢獻，無論是反饋，錯誤福音，功能，新插件和工具，還是更好的文檔。您可以在此存儲庫下提交問題，打開PR或在LiveKit的Slack社區中與我們聊天。
| Livekit生態系統 | |
|---|---|
| 實時SDK | 瀏覽器·ios/macos/visionos·android·顫動·反應本機 |
| 服務器API | node.js·golang·Ruby·Java/Kotlin·Python·Rust·Php（社區） |
| UI組件 | 反應·Android組成·Swiftui |
| 代理框架 | python ·node.js·操場 |
| 服務 | LiveKit服務器·出口·入口·SIP |
| 資源 | 文檔·示例應用程序·雲·自我託管·CLI |
