make a smart speaker

制作智能扬声器

中文

这是制作智能扬声器的资源集合。希望我们能为日常使用做一个开源的一个。我相信我们有足够的资源来制作开源智能扬声器。我们开始做吧。看看Hackaday上smart speaker from scratch的项目的进度。现在可以使用第一个硬件套件。

智能扬声器的简化流程图就像：

 +---+   +----------------+   +---+   +---+   +---+
|Mic|-->|Audio Processing|-->|KWS|-->|STT|-->|NLU|
+---+   +----------------+   +---+   +---+   +-+-+
                                               |
                                               |
+-------+   +---+   +----------------------+   |
|Speaker|<--|TTS|<--|Knowledge/Skill/Action|<--+
+-------+   +---+   +----------------------+

• 音频处理包括声音回声取消（AEC），波束形成，噪声抑制（NS）等。
• 关键字发现（KWS）检测一个关键字（例如OK Google，Hey Siri）来开始对话。
• 对文字的讲话（STT）
• 自然语言理解（NLU）将原始文本转换为结构化数据。
• 知识/技能/行动 - 知识库和插件（Alexa Skill，Google Action）提供答案。
• 文字到语音

---

KWS + STT + NLU +技能 + TTS

活跃的开源项目

• 折磨 - 第一个100％的开发设备和私人设计的开源语音AI平台
• Mycroft-可黑客的开源语音助手
• 棕褐色？ - 高度可定制的开源，跨平台语音助手和VUI框架（HTML + Java + X）
• Kalliope-一个框架，可以帮助您创建自己的私人助理，与Mycroft类似（均由Python撰写）
• dingdang机器人 - a ??语音互动机器人基于jasper并使用覆盆子Pi构建

SDK

• 亚马逊Alexa语音服务 - 是使用最广泛的语音助手

  • C ++ SDK
  • Java客户端
  • Python客户端

• Google Assistant SDK

  它具有最聪明的大脑，它的扩展名为Google Action可以通过DigitalFlow.AI在几个步骤上创建，其设备动作非常适合家庭智能设备。

• 百度·杜罗斯（Baidu Dueros）

• 剪

  • 在Raspberry Pi 3，Linux，OSX，iOS和Android上安装款项

• 棕褐色安装，带豪猪 +呼吸台的棕褐色

KWS

• Mycroft精确 - 轻巧，简单的RNN唤醒单词侦听器
• Snowboy-基于DNN的热词和唤醒单词检测工具包
• Honk-用于关键字发现的Google Tensorflow CNN的Pytorch重新进化
• ml-kws-for-mcu-可能是资源约束设备（例如ARM Cortex M7微控制器）的最有望
• 豪猪 - 轻巧的跨平台引擎，以几秒钟内构建自定义唤醒单词

stt

• Mozilla DeepSpeech- Baidu Deepspeech Architecture的张量实现
• 卡尔迪
• WAV2LETTER ++ - 来自Facebook AI研究的语音团队的快速开源语音处理工具包，旨在促进端到端模型中的研究，以供语音识别。
• Zamia语音 - 无云自动语音识别的开放工具，数据，模型（Kaldi模型和Wav2letter ++模型）。它可以在覆盆子Pi上运行
• Pocketsphinx-使用HMM + GMM轻巧的语音识别引擎

nlu

• Rasa Nlu

  • rasa nlu for Chinese

• SNIPS NLU-一个python库，允许用自然语言编写的句子解析并提取结构化信息。

TTS

• Mozilla TTS-文本到语音的深度学习
• Mimic -Mycroft的TTS引擎，基于CMU的Flite（Festival Lite）
• Manytts-用纯Java编写的开源，多语言文本到语音综合系统
• ESPEAK -NG-支持99种语言和口音的开源语音合成器。
• ekho-中文文本到语音引擎
• Wavenet，Tacotron 2

音频处理

• 声音回波取消

  • speexdsp，其python绑定speexdsp-python
  • EC-基于Raspberry Pi或运行Linux的其他设备的SpeexDSP AEC的ECHO取消守护程序。

• 到达方向（DOA） - 最常用的DOA算法是GCC -PHAT

  • TDOA
  • ODA- ODA代表开放的嵌入式试听系统。这是一个库，致力于执行声源本地化，跟踪，分离和过滤后。 ODA完全在C中编码，以获得更多的可移植性，并经过优化，可以在低成本嵌入式硬件上轻松运行。 ODA是免费的和开源的。

• 波束形成

  • 波束形成 - 滤波器和总和成形
  • CGMM波束形成 - 参考实现
  • MVDR波束形成
  • GSC波束形成

• 语音活动检测

  • webrtc vad，py-webrtcvad
  • DNN VAD

• 噪音的噪音

  • NS WebRTC音频处理，Python-Webrtc-audio Processing

音频I/O。

• Pyaudio Portaudio
• libsoundio
• Alsa
• 脉冲
• 管道