bailing

救済

Bailingは、音声を通じてユーザーと自然な会話をするように設計されたオープンソースの音声会話アシスタントです。このプロジェクトは、音声認識（ASR）、音声アクティビティ検出（VAD）、大手言語モデル（LLM）、音声合成（TTS）テクノロジーを組み合わせています。これは、ASR+LLM+TTSを介して実装されたGPT-4oのような音声会話ロボットで、800msのエンドツーエンドの遅延で高品質の音声会話エクスペリエンスを提供します。 Bailingは、GPUを必要とせずにGPT-4Oのような対話効果を達成することを目指しており、さまざまなエッジデバイスや低リソース環境に適しています。

プロジェクト機能

• 効率的なオープンソースモデル：Bailingは、複数のオープンソースモデルを使用して、効率的で信頼できる音声会話の経験を確保しています。
• GPU不要：最適化され、ローカルに展開可能であり、GPT-4のようなパフォーマンスパフォーマンスを提供します。
• モジュラー設計：ASR、VAD、LLM、およびTTSモジュールは互いに独立しており、要件に応じて交換およびアップグレードできます。
• サポートメモリ機能：継続的に学習することができ、ユーザーの好みや歴史的な対話を思い出すことができ、パーソナライズされたインタラクティブエクスペリエンスを提供します。
• サポートツール呼び出し：外部ツールの柔軟な統合、ユーザーは音声を通じて直接情報を要求したり、操作を実行したり、アシスタントの実用性を向上させたりできます。
• サポートタスク管理：ユーザータスクを効率的に管理し、進行状況を追跡し、リマインダーを設定し、動的更新を提供して、ユーザーが重要な問題を見逃すようにします。

プロジェクトの紹介

救済は、次の技術コンポーネントを通じて音声対話機能を実現します。

• ASR ：FUNASRを使用して自動音声認識を使用して、ユーザーの音声をテキストに変換します。
• VAD ：Silero-Vadを使用して音声アクティビティ検出を実行し、有効な音声セグメントのみが処理されるようにします。
• LLM ：DeepSeekを大規模な言語モデルとして使用して、ユーザー入力を処理して応答を生成します。これは非常に費用対効果が高いです。
• TTS ：Edge-TTS chattts macosは、テキストからスピーチへの変換について述べており、生成されたテキスト応答を自然でスムーズな音声に変換します。

フレームワークの説明

Robotは、効率的なタスク管理とメモリ管理を担当し、ユーザー割り込み要求をインテリジェントに処理できますが、さまざまなモジュール間のシームレスな調整と接続を実現して、スムーズなインタラクティブエクスペリエンスを確保できます。

プレイヤーステータス	話すかどうか	説明します
演奏	話していない	普通
演奏	言う	シーンを中断します
プレイされていません	話していない	普通
プレイされていません	言う	VAD判決、ASR認識

デモ

救済オーディオダイアログ

救済オーディオダイアログ

機能的特徴

• 音声入力：FUNASRを通じて正確な音声認識。
• 音声アクティビティの検出：Silero-Vadを使用して無効なオーディオをフィルタリングして、認識効率を向上させます。
• インテリジェントな対話の生成：Deepseekが提供する強力な言語理解に依存すると、非常に費用対効果の高い自然なテキスト応答が生成されます。
• 音声出力：テキストをEdge-TTを介して音声に変換して、ユーザーに現実的な聴覚フィードバックを提供します。
• サポート割り込み：割り込みポリシーの柔軟な構成を使用して、キーワードと音声割り込みを識別し、会話のユーザーのインスタントフィードバックと制御、およびインタラクションフルーシーの改善を確認できます。
• サポートメモリ機能：継続的に学習することができ、ユーザーの好みや歴史的な対話を思い出すことができ、パーソナライズされたインタラクティブエクスペリエンスを提供します。
• サポートツール呼び出し：外部ツールの柔軟な統合、ユーザーは音声を通じて直接情報を要求したり、操作を実行したり、アシスタントの実用性を向上させたりできます。
• サポートタスク管理：ユーザータスクを効率的に管理し、進行状況を追跡し、リマインダーを設定し、動的更新を提供して、ユーザーが重要な問題を見逃すようにします。

プロジェクトの利点

• 高品質の音声会話：優れたASR、LLM、TTSテクノロジーを統合して、音声会話の流encyさと精度を確保します。
• 軽量設計：リソースに制約のある環境に適した高性能ハードウェアなしで実行されます。
• 完全なオープンソース：救済は完全にオープンソースであり、コミュニティの貢献と二次開発を促進します。

インストールと実行

環境に依存します

開発環境に次のツールとライブラリがインストールされていることを確認してください。

• Python 3.8以降
• pipパッケージマネージャー
• FUNASR、SILERO-VAD、DEEPSEEK、EDGE-TTS依存関係ライブラリが必要です

インストール手順

1. プロジェクト倉庫のクローニング：

   git clone https://github.com/wwbin2017/bailing.git
   cd bailing

2. インストールに必要な依存関係：

   pip install -r requirements.txt

3. 環境変数を構成します：

   • asr llmおよびその他の関連する構成を構成するためにconfig.yamlを開くconfig.yaml
   • SenseVoicesMallをディレクトリモデルにダウンロード/SenseVoicesMall SenseVoicesmallダウンロードアドレスをダウンロードします
   • DeepSeekの公式Webサイトにアクセスして構成API_KEYを取得し、DeepSeekをAPI_Keyを取得します。もちろん、Openai、Qwen、Gemini、01yiなどの他のモデルを構成することもできます。

4. プロジェクトを実行する：

    cd server
   python server.py # 启动后端服务，也可不执行这一步

   python main.py

使用する手順

1. アプリケーションを開始した後、システムは音声入力を待ちます。
2. FUNASRを介してユーザーの音声をテキストに変換します。
3. Silero-Vadは音声アクティビティ検出を実行して、有効な音声のみが処理されるようにします。
4. DeepSeekはテキスト入力を処理し、スマート返信を生成します。
5. Edge-Tts、Chattts、Macosは、生成されたテキストをスピーチに変換し、ユーザーに再生すると言います。

ロードマップ

• 基本的な音声会話機能
• プラグインコールをサポートします
• タスク管理
• Rag＆Agent
• メモリ
• 音声モーニングをサポートします
• WebSearchを強化します
• Webrtcをサポートします

将来、救済は、比類のないメモリや将来を見据えたタスク管理機能を備えた思いやりのあるシンクタンクのように、ジャービスのようなパーソナルアシスタントに昇華します。最先端のぼろきれとエージェントテクノロジーに依存すると、問題と知識を正確に制御し、複合施設を簡素化します。 「最近のニュースを見つけるのを手伝ってください」や「大きなモデルの最新の開発を要約する」などのささやき声は、bailingが迅速に対応し、スマートに分析し、リアルタイムで追跡し、結果を優雅に提示します。あなたはアシスタントだけでなく、あなたのニーズに精通している賢いパートナーがいると想像してください。

サポートされているツール

関数名	説明する	関数	例
get_weather	場所の天気情報を入手してください	ロケーション名を提供した後、場所の気象条件に戻ります	ユーザーは言った：「杭州の天気はどうですか？」 → zhejiang/hangzhou
ielts_speaking_practice	IELTSオーラルプラクティス	IELTSオーラルエクササイズの質問と対話を生成して、ユーザーがIELTSオーラルエクササイズを実践できるようにする	-
get_day_of_week	今週または日付を取得します	ユーザーが現在の時間、日付、または曜日を要求すると、対応する情報が返されます	ユーザーは言った：「今日は何日ですか？」 →今週に戻ります
schedule_task	時限タスクを作成します	ユーザーはタスクの実行時間とコンテンツを指定し、ユーザーに定期的に思い出させることができます	ユーザーは次のように述べています。「毎朝8時に水を飲むことを思い出させてください。」 → time: '08:00', content: '提醒我喝水'
open_application	Macで指定されたアプリケーションを開きます	ユーザーはアプリケーションの名前を指定でき、スクリプトはMacで対応するアプリケーションを起動します	ユーザーは「Safariを開く」と言った。 → application_name: 'Safari'
web_search	指定されたキーワードをオンラインで検索します	ユーザーが提供する検索コンテンツに基づいて、対応する検索結果を返します	ユーザーは次のように述べています。「最新の技術ニュースを検索します。」 → query: '最新的科技新闻'

貢献ガイド

貢献は大歓迎です！保釈プロジェクトの改善のための提案がある場合、または問題を見つけた場合は、フィードバックを提供するか、GitHubの問題を介してプルリクエストを送信してください。

オープンソースプロトコル

このプロジェクトは、MITライセンスに基づいてオープンソースがあります。このプロジェクトを自由に使用、変更、配布できますが、元のライセンスステートメントを保持する必要があります。

連絡先

ご質問や提案がある場合は、お問い合わせください。

• GitHubの問題：プロジェクトの問題追跡

---

免責事項

救済は、個人的な学習と研究の目的で設計されたオープンソースプロジェクトです。このプロジェクトを使用する場合は、次の免責事項に注意してください。

1. 個人使用：このプロジェクトは個人的な研究と研究のみを目的としており、商業用使用や生産環境には適していません。
2. リスクと責任：救済を使用すると、データの損失、システムの障害、またはその他の問題につながる可能性があります。このプロジェクトの使用から生じる損失、損害、または問題については責任を負いません。
3. サポート：このプロジェクトは、技術サポートや保証を提供しません。ユーザーは、このプロジェクトを自分の責任で使用するリスクを負うものとします。

このプロジェクトを使用する前に、これらの免責事項を理解し、受け入れるようにしてください。これらの条件に同意しない場合は、このプロジェクトを使用しないでください。

ご理解とご支援ありがとうございます！