make a smart speaker

製作智能揚聲器

中文

這是製作智能揚聲器的資源集合。希望我們能為日常使用做一個開源的一個。我相信我們有足夠的資源來製作開源智能揚聲器。我們開始做吧。看看Hackaday上smart speaker from scratch的項目的進度。現在可以使用第一個硬件套件。

智能揚聲器的簡化流程圖就像：

 +---+   +----------------+   +---+   +---+   +---+
|Mic|-->|Audio Processing|-->|KWS|-->|STT|-->|NLU|
+---+   +----------------+   +---+   +---+   +-+-+
                                               |
                                               |
+-------+   +---+   +----------------------+   |
|Speaker|<--|TTS|<--|Knowledge/Skill/Action|<--+
+-------+   +---+   +----------------------+

• 音頻處理包括聲音迴聲取消（AEC），波束形成，噪聲抑制（NS）等。
• 關鍵字發現（KWS）檢測一個關鍵字（例如OK Google，Hey Siri）來開始對話。
• 對文字的講話（STT）
• 自然語言理解（NLU）將原始文本轉換為結構化數據。
• 知識/技能/行動 - 知識庫和插件（Alexa Skill，Google Action）提供答案。
• 文字到語音

---

KWS + STT + NLU +技能 + TTS

活躍的開源項目

• 折磨 - 第一個100％的開發設備和私人設計的開源語音AI平台
• Mycroft-可黑客的開源語音助手
• 棕褐色？ - 高度可定制的開源，跨平台語音助手和VUI框架（HTML + Java + X）
• Kalliope-一個框架，可以幫助您創建自己的私人助理，與Mycroft類似（均由Python撰寫）
• dingdang機器人 - a ??語音互動機器人基於jasper並使用覆盆子Pi構建

SDK

• 亞馬遜Alexa語音服務 - 是使用最廣泛的語音助手

  • C ++ SDK
  • Java客戶端
  • Python客戶端

• Google Assistant SDK

  它具有最聰明的大腦，它的擴展名為Google Action可以通過DigitalFlow.AI在幾個步驟上創建，其設備動作非常適合家庭智能設備。

• 百度·杜羅斯（Baidu Dueros）

• 剪

  • 在Raspberry Pi 3，Linux，OSX，iOS和Android上安裝款項

• 棕褐色安裝，帶豪豬 +呼吸台的棕褐色

KWS

• Mycroft精確 - 輕巧，簡單的RNN喚醒單詞偵聽器
• Snowboy-基於DNN的熱詞和喚醒單詞檢測工具包
• Honk-用於關鍵字發現的Google Tensorflow CNN的Pytorch重新進化
• ml-kws-for-mcu-可能是資源約束設備（例如ARM Cortex M7微控制器）的最有望
• 豪豬 - 輕巧的跨平台引擎，以幾秒鐘內構建自定義喚醒單詞

stt

• Mozilla DeepSpeech- Baidu Deepspeech Architecture的張量實現
• 卡爾迪
• WAV2LETTER ++ - 來自Facebook AI研究的語音團隊的快速開源語音處理工具包，旨在促進端到端模型中的研究，以供語音識別。
• Zamia語音 - 無云自動語音識別的開放工具，數據，模型（Kaldi模型和WAV2LETTER ++模型）。它可以在覆盆子Pi上運行
• Pocketsphinx-使用HMM + GMM輕巧的語音識別引擎

nlu

• Rasa Nlu

  • rasa nlu for Chinese

• SNIPS NLU-一個python庫，允許用自然語言編寫的句子解析並提取結構化信息。

TTS

• Mozilla TTS-文本到語音的深度學習
• Mimic -Mycroft的TTS引擎，基於CMU的Flite（Festival Lite）
• Manytts-用純Java編寫的開源，多語言文本到語音綜合系統
• ESPEAK -NG-支持99種語言和口音的開源語音合成器。
• ekho-中文文本到語音引擎
• Wavenet，Tacotron 2

音頻處理

• 聲音回波取消

  • speexdsp，其python綁定speexdsp-python
  • EC-基於Raspberry Pi或運行Linux的其他設備的SpeexDSP AEC的ECHO取消守護程序。

• 到達方向（DOA） - 最常用的DOA算法是GCC -PHAT

  • TDOA
  • ODA- ODA代表開放的嵌入式試聽系統。這是一個庫，致力於執行聲源本地化，跟踪，分離和過濾後。 ODA完全在C中編碼，以獲得更多的可移植性，並經過優化，可以在低成本嵌入式硬件上輕鬆運行。 ODA是免費的和開源的。

• 波束形成

  • 波束形成 - 濾波器和總和成形
  • CGMM波束形成 - 參考實現
  • MVDR波束形成
  • GSC波束形成

• 語音活動檢測

  • webrtc vad，py-webrtcvad
  • DNN VAD

• 噪音的噪音

  • NS WebRTC音頻處理，Python-Webrtc-audio Processing

音頻I/O。

• Pyaudio Portaudio
• libsoundio
• Alsa
• 脈衝
• 管道