make a smart speaker

スマートスピーカーを作るために

中文

これは、スマートスピーカーを作成するためのリソースのコレクションです。毎日使用するためのオープンソースを作成できることを願っています。オープンソースのスマートスピーカーを作成するのに十分なリソースがあると思います。やりましょう。 smart speaker from scratch見てみましょう。最初のハードウェアキットは現在入手可能です。

スマートスピーカーの単純化されたフローチャートは次のようです。

 +---+   +----------------+   +---+   +---+   +---+
|Mic|-->|Audio Processing|-->|KWS|-->|STT|-->|NLU|
+---+   +----------------+   +---+   +---+   +-+-+
                                               |
                                               |
+-------+   +---+   +----------------------+   |
|Speaker|<--|TTS|<--|Knowledge/Skill/Action|<--+
+-------+   +---+   +----------------------+

• オーディオ処理には、アコースティックエコーキャンセル（AEC）、ビームフォーミング、ノイズ抑制（NS）などが含まれます。
• キーワードスポッティング（KWS）は、キーワード（OK Google、Hey Siriなど）を検出して会話を開始します。
• テキストへのスピーチ（STT）
• 自然言語理解（NLU）は、生のテキストを構造化されたデータに変換します。
• 知識/スキル/アクション - 知識ベースとプラグイン（Alexaスキル、Googleアクション）は、回答を提供します。
• テキストからスピーチ

---

KWS + STT + NLU +スキル + TTS

アクティブなオープンソースプロジェクト

• Snips-最初の100％オンデバイスとプライベートによって設計されたオープンソースの音声AIプラットフォーム
• Mycroft-ハッキング可能なオープンソース音声アシスタント
• セピア？ - 高度にカスタマイズ可能、オープンソース、クロスプラットフォームの音声アシスタントおよびVUIフレームワーク（HTML + Java + X）
• Kalliope-自分のアシスタントを作成するのに役立つフレームワーク、Mycroftと同様のようなもの（両方ともPythonによって書かれています）
• Dingdang Robot -A ?? Jasperに基づいてRaspberryPiで構築された音声相互作用ロボット

SDK

• Amazon Alexa Voice Service-最も広く使用されている音声アシスタントです

  • C ++ SDK
  • Javaクライアント
  • Pythonクライアント

• GoogleアシスタントSDK

  それは最も賢い脳を持っています、Googleアクションと呼ばれる拡張は、DigitalFlow.AIを使用していくつかのステップで作成できます。そのデバイスアクションは、ホームスマートデバイスに非常に適しています。

• Baidu Dueros

• スニップ

  • Raspberry Pi 3、Linux、OSX、iOS、AndroidにSnipsをインストールする

• セピアの設置、ヤマアラシ +応答器付きセピア

KWS

• Mycroft Precise-軽量で使いやすい、RNNウェイクワードリスナー
• Snowboy -DNNベースのホットワードとウェイクワード検出ツールキット
• HONK -GoogleのTensorFlow CNNSのキーワードスポッティングのPytorch Remplementation
• ML-KWS-For-MCU-アーム皮質M7マイクロコントローラーなどのリソース制約付きデバイスにとって最も有望なかもしれません
• ヤマアラシ - 数秒でカスタムウェイクワードを構築するための軽量のクロスプラットフォームエンジン

stt

• Mozilla Deepspeech -BaiduのDeepspeechアーキテクチャのTensorflow実装
• カルディ
• WAV2LETTER ++ -Facebook AI Researchのスピーチチームからの高速でオープンソースの音声処理ツールキットは、音声認識のためにエンドツーエンドモデルの研究を促進するために構築されました。
• Zamia Speech-クラウドレスオートマチック音声認識のためのオープンツール、データ、モデル（Kaldiモデル、WAV2letter ++モデル）。 Raspberry Piで実行できます
• Pocketsphinx -HMM + GMMを使用した軽量音声認識エンジン

NLU

• Rasa Nlu

  • 中国語のラサNLU

• Snips NLU-自然言語で書かれた文を解析し、構造化された情報を抽出できるPythonライブラリ。

TTS

• Mozilla TTS-テキストからスピーチへの深い学習
• Mimic -CMUのFlite（Festival Lite）に基づくMycroftのTTSエンジン
• Manytts-純粋なJavaで書かれたオープンソース、多言語のテキストからスピーチ合成システム
• ESPEAK -NG- 99の言語とアクセントをサポートするオープンソースのスピーチシンセサイザー。
• Ekho-中国のテキストからスピーチへのエンジン
• Wavenet、タコトロン2

オーディオ処理

• 音響エコーキャンセル

  • speexdsp、そのpython結合speexdsp-python
  • EC -ECHO CANCERATION DAEMONは、Raspberry PIまたはLinuxを実行している他のデバイスのSpeexDSP AECに基づいています。

• 到着方向（DOA） - 最も使用されているDOAアルゴリズムはGCC -PHATです

  • tdoa
  • ODAS -ODAは、開いた埋め込みオーディションシステムの略です。これは、音源のローカリゼーション、追跡、分離、ポストフィルタリングを実行するためのライブラリです。 ODAは、より携帯性のために完全にCでコード化されており、低コストの埋め込みハードウェアで簡単に実行するように最適化されています。 ODAは無料でオープンソースです。

• ビームフォーミング

  • BeamFormit-フィルターと合計ビームフォーミング
  • CGMMビームフォーム - 参照実装
  • MVDRビームフォーミング
  • GSCビームフォーミング

• 音声アクティビティ検出

  • webrtc vad、py-webrtcvad
  • DNN VAD

• ノイズサプリオン

  • Webrtcオーディオ処理のns、python-webrtc-audio-processing

オーディオI/O

• Poraudio、Pyaudio
• libsoundio
• アルサ
• Pulseaudio
• Pipewire