bailing

百聆(Bailing)

百聆是一個開源的語音對話助手，旨在通過語音與用戶進行自然的對話。該項目結合了語音識別(ASR)、語音活動檢測(VAD)、大語言模型(LLM) 和語音合成(TTS) 技術，這是一個類似GPT-4o的語音對話機器人，通過ASR+LLM+TTS實現，提供高質量的語音對話體驗，端到端時延800ms。百聆旨在無需GPU的情況下，實現類GPT-4o的對話效果，適用於各種邊緣設備和低資源環境。

項目特點

• 高效開源模型：百聆使用了多個開源模型，確保高效、可靠的語音對話體驗。
• 無需GPU ：通過優化，可本地部署，仍能提供類GPT-4的性能表現。
• 模塊化設計：ASR、VAD、LLM和TTS模塊相互獨立，可以根據需求進行替換和升級。
• 支持記憶功能: 具備持續學習能力，能夠記憶用戶的偏好與歷史對話，提供個性化的互動體驗。
• 支持工具調用: 靈活集成外部工具，用戶可通過語音直接請求信息或執行操作，提升助手的實用性。
• 支持任務管理: 高效管理用戶任務，能夠跟踪進度、設置提醒，並提供動態更新，確保用戶不錯過任何重要事項。

項目簡介

百聆通過以下技術組件實現語音對話功能：

• ASR : 使用FunASR 進行自動語音識別，將用戶的語音轉換為文本。
• VAD : 使用silero-vad 進行語音活動檢測，以確保只處理有效的語音片段。
• LLM : 使用deepseek 作為大語言模型來處理用戶輸入並生成響應，極具性價比。
• TTS : 使用edge-tts ChatTTS MacOS say進行文本到語音的轉換，將生成的文本響應轉換為自然流暢的語音。

框架說明

Robot 負責高效的任務管理與記憶管理，能夠智能地處理用戶的打斷請求，同時實現各個模塊之間的無縫協調與連接，以確保流暢的交互體驗。

播放器狀態	是否說話	說明
播放中	未說話	正常
播放中	說話	打斷場景
未播放	未說話	正常
未播放	說話	VAD判斷，ASR識別

Demo

bailing audio dialogue

bailing audio dialogue

功能特性

• 語音輸入：通過FunASR 進行準確的語音識別。
• 語音活動檢測：使用silero-vad 過濾無效音頻，提升識別效率。
• 智能對話生成：依靠deepseek 提供的強大語言理解能力生成自然的文本回复，極具性價比。
• 語音輸出：通過edge-tts 將文本轉為語音，為用戶提供逼真的聽覺反饋。
• 支持打斷：靈活配置打斷策略，能夠識別關鍵字和語音打斷，確保用戶在對話中的即時反饋與控制，提高交互流暢度。
• 支持記憶功能: 具備持續學習能力，能夠記憶用戶的偏好與歷史對話，提供個性化的互動體驗。
• 支持工具調用: 靈活集成外部工具，用戶可通過語音直接請求信息或執行操作，提升助手的實用性。
• 支持任務管理: 高效管理用戶任務，能夠跟踪進度、設置提醒，並提供動態更新，確保用戶不錯過任何重要事項。

項目優勢

• 高質量語音對話：整合了優秀的ASR、LLM和TTS技術，確保語音對話的流暢性和準確性。
• 輕量化設計：無需高性能硬件即可運行，適用於資源受限的環境。
• 完全開源：百聆完全開源，鼓勵社區貢獻與二次開發。

安裝與運行

依賴環境

請確保你的開發環境中安裝了以下工具和庫：

• Python 3.8 或更高版本
• pip包管理器
• FunASR、silero-vad、deepseek、edge-tts 所需的依賴庫

安裝步驟

1. 克隆項目倉庫：

   git clone https://github.com/wwbin2017/bailing.git
   cd bailing

2. 安裝所需依賴：

   pip install -r requirements.txt

3. 配置環境變量：

   • 打開config/config.yaml 配置ASR LLM等相關配置
   • 下載SenseVoiceSmall到目錄models/SenseVoiceSmall SenseVoiceSmall下載地址
   • 去deepseek官網，獲取配置api_key，deepseek獲取api_key，當然也可以配置openai、qwen、gemini、01yi等其他模型

4. 運行項目：

    cd server
   python server.py # 启动后端服务，也可不执行这一步

   python main.py

使用說明

1. 啟動應用後，系統會等待語音輸入。
2. 通過FunASR 將用戶語音轉為文本。
3. silero-vad 進行語音活動檢測，確保只處理有效語音。
4. deepseek 處理文本輸入，並生成智能回复。
5. edge-tts, ChatTTS, MacOs say 將生成的文本轉換為語音，並播放給用戶。

Roadmap

• 基本語音對話功能
• 支持插件調用
• 任務管理
• Rag & Agent
• Memory
• 支持語音喚醒
• 強化WebSearch
• 支持WebRTC

未來，百聆將昇華為一款類JARVIS個人助手，彷彿一位貼心的智囊，具備無與倫比的記憶力與前瞻性的任務管理能力。依託於尖端的RAG與Agent技術，它將精確掌控您的事務與知識，化繁為簡。只需輕聲一語，例如“幫我查找最近新聞”或“總結大模型的最新進展”，百聆便會迅速響應，智能分析，實時跟踪，並將成果優雅地呈現給您。想像一下，您擁有的不僅是一名助手，而是一個深諳您需求的智慧夥伴，伴您在未來的每個重要瞬間，助您洞察萬象，決胜千裡。

支持的工具

函數名	描述	功能	示例
get_weather	獲取某個地點的天氣信息	提供地點名稱後，返回該地點的天氣情況	用戶說：“杭州天氣怎麼樣？” → zhejiang/hangzhou
ielts_speaking_practice	IELTS（雅思）口語練習	生成雅思口語練習題目和對話，幫助用戶進行雅思口語練習	-
get_day_of_week	獲取當前的星期幾或日期	當用戶詢問當前時間、日期或者星期幾時，返回相應的信息	用戶說：“今天星期幾？” → 返回當前的星期幾
schedule_task	創建一個定時任務	用戶可以指定任務的執行時間和內容，定時提醒用戶	用戶說：“每天早上8點提醒我喝水。” → time: '08:00', content: '提醒我喝水'
open_application	在Mac 電腦上打開指定的應用程序	用戶可以指定應用程序的名稱，腳本將在Mac 上啟動相應的應用	用戶說：“打開Safari。” → application_name: 'Safari'
web_search	在網上搜索指定的關鍵詞	根據用戶提供的搜索內容，返回相應的搜索結果	用戶說：“搜索最新的科技新聞。” → query: '最新的科技新闻'

貢獻指南

歡迎任何形式的貢獻！如果你對百聆項目有改進建議或發現問題，請通過GitHub Issues 進行反饋或提交Pull Request。

開源協議

該項目基於MIT 許可證開源。你可以自由地使用、修改和分發此項目，但需要保留原始許可證聲明。

聯繫方式

如有任何疑問或建議，請聯繫：

• GitHub Issues: 項目問題追踪

---

免責聲明

百聆(Bailing) 是一個開源項目，旨在用於個人學習和研究目的。使用本項目時，請注意以下免責聲明：

1. 個人用途：本項目僅用於個人學習和研究，不適用於商業用途或生產環境。
2. 風險和責任：使用百聆(Bailing) 可能會導致數據丟失、系統故障或其他問題。我們對因使用本項目而導致的任何損失、損害或問題不承擔任何責任。
3. 支持：本項目不提供任何形式的技術支持或保證。用戶應自行承擔使用本項目的風險。

在使用本項目之前，請確保您已了解並接受這些免責聲明。如果您不同意這些條款，請不要使用本項目。

感謝您的理解與支持！