agents

JS/TSライブラリをお探しですか？ AgentsJSをチェックしてください

[NEW] OpenAIリアルタイムAPIサポート

エージェントフレームワークの新しいMultimodalAgent APIでOpenaiと提携しています。このクラスは、OpenaiのリアルタイムAPIを完全にラップし、生ワイヤープロトコルを抽象化し、GPT-4oとユーザーのデバイスの間の超低レイテンシwebrtc輸送を提供します。この同じスタックは、ChatGPTアプリで高度な音声を発揮します。

• 私たちの遊び場でリアルタイムAPIを試してください[コード]
• この新しいAPIで最初のアプリを構築するためのガイドをご覧ください

エージェントとは何ですか？

エージェントフレームワークを使用すると、リアルタイムで表示、聞く、話すことができるAI駆動型サーバープログラムを構築できます。エージェントは、LiveKitセッションを通じてエンドユーザーデバイスに接続します。そのセッション中、エージェントはテキスト、オーディオ、画像、またはユーザーのデバイスからのビデオストリーミングを処理し、AIモデルに出力と同じモダリティの任意の組み合わせを生成し、ユーザーにストリーミングします。

特徴

• 人気のあるLLMS、転写、テキストツースピーチサービス、およびRAGデータベースのプラグイン
• 自動ターン検出、中断処理、機能呼び出し、および転写を備えた音声エージェントまたはアシスタントを構築するための高レベルの抽象化
• LiveKitのテレフォニースタックと互換性があるため、エージェントが電話をかけるか、電話から電話を受けることができます
• エッジベースの派遣、監視、透明なフェールオーバーを備えたエージェントのプールを管理する統合負荷分散システム
• エージェントを実行することは、ローカルホスト、自己ホスト、およびLiveKitクラウド環境間で同じです

インストール

コアエージェントライブラリをインストールするには：

pip install livekit-agents

プラグイン

フレームワークには、ストリーミング入力を簡単に処理したり、出力を生成したりできるさまざまなプラグインが含まれています。たとえば、テキストからスピーチを変換したり、一般的なLLMを使用して推論を実行したりするためのプラグインがあります。プラグインをインストールする方法は次のとおりです。

pip install livekit-plugins-openai

次のプラグインが本日利用できます。

プラグイン	特徴
LiveKit-Plugins-Anthropic	LLM
LiveKit-Plugins-Assemblyai	stt
LiveKit-Plugins-Azure	STT、TTS
LiveKit-Plugins-Deepgram	stt
LiveKit-Plugins-cartesia	TTS
LiveKit-Plugins-ElevenLabs	TTS
LiveKit-Plugins-Playht	TTS
LiveKit-Plugins-Google	STT、TTS
LiveKit-Plugins-nltk	テキストを操作するためのユーティリティ
LiveKit-Plugins-Rag	ラグを実行するためのユーティリティ
LiveKit-Plugins-Openai	LLM、STT、TTS、アシスタントAPI、リアルタイムAPI
LiveKit-Plugins-Silero	Vad

ドキュメントとガイド

フレームワークとそれの使用方法に関するドキュメントは、こちらにあります

エージェントの例

説明	デモリンク	コードリンク
STT、LLM、およびTTSのパイプラインを使用する基本的な音声エージェント	デモ	コード
新しいOpenAIリアルタイムAPIを使用した音声エージェント	デモ	コード
llama 3.1をホストしたセレブラスを使用した超高速音声エージェント	デモ	コード
カルテシアのソニックモデルを使用した音声エージェント	デモ	n/a
機能通話を介して現在の天気を検索するエージェント	n/a	コード
RAGベースのルックアップを実行する音声エージェント	n/a	コード
RGBフレームのストリームを公開するビデオエージェント	n/a	コード
ユーザーのスピーチからテキストキャプションを生成する転写剤	n/a	コード
生成されたスピーチで返信する人にテキストできるチャットエージェント	n/a	コード
LocalHost Multi-Agent電話会議	n/a	コード
Hiveを使用してスパム/虐待的なビデオを検出する節度エージェント	n/a	コード

貢献

エージェントフレームワークは、急速に進化する分野で積極的な開発中です。フィードバック、バグフィックス、機能、新しいプラグイン、ツール、またはより良いドキュメントなど、あらゆる種類の貢献を歓迎し、感謝しています。このレポで問題を提出したり、PRを開いたり、LiveKitのSlackコミュニティでチャットしたりできます。

LiveKitエコシステム
リアルタイムSDK	ブラウザー・iOS/macOS/visionos・Android・Flutter・React native・Rust・Node.js・Python・Unity・Unity（webgl）
サーバーAPI	node.js・golang・ruby・java/kotlin・python・Rust・php（コミュニティ）
UIコンポーネント	React・Android Compose・Swiftui
エージェントフレームワーク	python・node.js・遊び場
サービス	LiveKitサーバー・出口・侵入・SIP
リソース	ドキュメント・例アプリの例・クラウド・自己ホースト・CLI