All About Speech

すべてのスピーチについて

このリポジトリは、スピーチを理解する目的で、論文、学習資料、コードを開催します。ここには、マシン/ディープラーニング用の別のリポジトリがあります。

dosへ：

• 星を整理します
• より多くの論文を追加します
  • 読むべき論文：
    1. Speech = T：TTSおよびそれ以降のトランスデューサー

TTS

• TTS

  • DC-TTS [[Paper]] [Pytorch] [Tensorflow]
  • Microsoft's Lightspeech [[Paper]] [コード]
  • Speechformer [[Paper]] [コード]
  • アタントなタコトロン[紙] [Pytorch]
  • 平行タコトロン2 [[紙]] [コード]
  • FCL-TACO2：Tacotron2 [[Paper]] [Code]の高速、制御可能な軽量バージョン
  • トランスTTS：トランスネットワークを使用したニューラル音声合成[[Paper]] [Code]
  • vits：エンドツーエンドのテキストからスピーチのための敵対的な学習を備えた条件付き変異オートエンコーダー[[Paper]] [Code]
  • Reformer-TTS（改革者のTTSへの適応）[コード]

• プロンプトベースのTTS（[リンク]を参照）

• 音声変換 /音声クローニング /スピーカーの埋め込み

  • Stargan-VC：星生成敵のネットワークを使用した並行していない多くの多くの音声変換[[Paper]] [Code]
  • 少数のオーディオサンプルでクローニングするニューラル音声（baidu）[[Paper]] [code]
  • アセンブリVC：現代の音声合成技術を組み立てることによる現実的な音声変換[[Paper]] [Code]
  • UNET-TTS：ワンショット音声クローニングで目に見えないスピーカーとスタイルの転送の改善[Paper] [Code]
  • fragmentVC：エンドツーエンドの抽出と融合による任意の音声変換は、細かく密集した音声フラグメントを注意と融合します[[Paper]] [code]
  • VectorQuantizedCPC：音響単位の発見と音声変換のためのベクトル定量化コントラスト予測コード[[Paper]] [Code]
  • Cotatron：並列データなしでの任意の多くの音声変換のための転写誘導音声エンコーダー[[Paper]] [Code]
  • 繰り返しますが、アクティベーションガイダンスと適応インスタンスの正規化を使用したワンショット音声変換[[Paper]] [Code]
  • AutoVC：自動エンコーダーのみのみのゼロショットボイススタイルの転送[[Paper]] [code]
  • SC-Glowtts：効率的なゼロショットマルチスピーカーテキストからスピーチモデル[コード]
  • ディープスピーカー：エンドツーエンドのニューラルスピーカー埋め込みシステム[[紙]] [コード]
  • vqmivc：ワンショット（任意の）音声変換[[紙]] [コード]

• スタイル（感情、韻律）

  • SMART-TTS単一の感情的なTTS [コード]
  • クロススピーカー感情転送[[紙]] [コード]
  • Autopst：テキストの転写なしでグローバルなリズムスタイルの転送[[Paper]] [Code]
  • 非平行トレーニングデータを使用した感情的な音声変換のためのスペクトルと韻律の変換[[Paper]] [Code]
  • 敵対的なサイクルの一貫性を備えたマルチリファレンスニューラルTTSスタイリライゼーション[[紙]] [コード]
  • エンドツーエンドの音声合成（Tacotron-Vae）でのスタイルコントロールと転送の潜在表現の学習[[Paper]] [Code]
  • タイムドメインニューラルオーディオスタイル転送（NIPS 2017）[[Paper]] [Code]
  • Meta-stylesepeech and StyleSepeech [[Paper]] [Code]
  • スピーカーのコンディチノ層の正規化とテキストへのスピーチでの半監視トレーニングに基づくクロススピーカーの感情転送[[Paper]] [Code]

• 横断的

  • 言語間言語モデルを使用したエンドツーエンドのコードスイッチングTTS
    • マンダリンと英語
    • 横断的およびマルチスピーカー
    • ベースライン：「単一言語データのみを備えた混合リング神経TTSシステムの構築」
  • 単一言語データのみを備えた混合言語ニューラルTTSシステムの構築
  • 低リソース言語でのゼロショットマルチリンギャルマルチスピーカーのテキストからスピーチのための転送学習、スタイルコントロール、およびスピーカー再構成損失
    • 多くの良い参照があります
  • 多言語および単一言語のvq-vae [紙] [code]を使用して解体を探る

• 音楽関連

  • 歌の美しさを学ぶ：ニューラル歌声の声の美しさ（ACL 2022）[[紙]] [コード]
  • 歌へのスピーチ（speech 2020）[[紙]] [コード]
  • Diffsinger：浅い拡散メカニズムを介した音声合成を歌う（AAAI 2022）[[Paper]] [Code]
  • ユニバーサルミュージック翻訳ネットワーク（ICLR 2019）
  • ジュークボックス：音楽の生成モデル（openai）[紙] [コード]

• ツールキット

  • IMS Toucan Speech Synthesis Toolkit [Paper] [Code]
  • クレープピッチトラッカー[コード]
  • Speechbrain-音声研究を促進するための便利なツール[コード]

• ボコーダー

• 注意

  • ローカルな注意[コード]

ASR

• エンドツーエンドの音声言語の理解に向けて

音声分類、検出、フィルターなど。

• HTS-AT：サウンド分類と検出のための階層トークンセマンチオオーディオトランス
• Google AIのVoiceFilter System [[Paper]] [Code]
• 自己注意メカニズムとマルチタスク学習を使用したエンドツーエンドの音声感情認識の改善（Interspeech 2019）[[Paper]] [Code]
• Tranformerベースの自己監視機能Fusionによるマルチモーダル感情認識[[Paper]] [Code]
• WAV2VEC 2.0埋め込みを使用した音声からの感情認識（Speech 2021）[[Paper]] [Code]
• WAV2VEC 2.0の探索音声感情認識を改善するための微調整[[Paper]] [Code]
• オーディオ分類のためのCNNモデルの再考[[Paper]] [コード]
• sincnetを使用したEEGベースの感情認識[[Paper]] [コード]

スピーカーの検証

• スピーカーの検証のためのクロス丁寧なプーリング（IEEE SLT 2021）[[Paper]] [Code]

言語学

---

データセット

1. vggsound：大規模なオーディオビジュアルデータセット[[Paper]] [Code]
2. CSS10：10 langaugesの単一スピーカー音声データセットのコレクション[コード]
3. IEMOCAP：10人の男性と女性の俳優がいる12時間の視聴覚データ[Webサイト]
4. voxceleb [repo]

データ増強

1. Audiomentations（Pytorchでの高速オーディオデータ増強）[コード]

アライナー

1. モントリオールはアライナーを強制しました

• 韓国語[リンク]

データ（プレ）処理 /増強

• データ（プレ）処理

1. Wiktionary Ko-Pron Luaモジュール[コード]に基づく韓国の発音とローマ化
2. オーディオ信号処理[コード]
3. 音韻的特徴（紙「0ショットの多言語統合のための音韻特徴」）[[Paper]] [Code]
4. smart-g2p（韓国語の文で英語と漢字の表現を韓国の発音に変更する）[コード]
5. 「マンダリン」のためのカカオグラフェムから音素変換パッケージ[コード]
6. webaverseスピーチツール[コード]

検証

1. MCD [レポ]

• コードは機能しますが、それが正しいかどうかはわかりません。 MCDの数字は、同様のオーディオのペアでも少し高すぎます。

役立つ他の研究

• 画像合成からテキスト
  • dalle2 [code]
• audiomae（聴くマスクされた自動エンコーダー）[コード]

---

組織

• deepmind [repo]
• Openai [レポ]
• クラブハウス：weeklyarxivtalk [repo]

参照するその他のリポジトリ - スピーチが含まれている/関連しています

• スピーチ研究者リスト[レポ]
• ジャクソン・カン[レポ]
• Rosinality'sML [repo]
• ivallespの[レポ]
• ddlbojackのスピーチ事前トレーニング[repo]
• Fuzhenxinのテキストでのスタイル転送[レポ]

学習資料

1. デジタル信号処理講義[リンク]
2. Ratsgo's Speechbook [リンク]
3. 音声処理のYSDAコース[コード]
4. NHNフォワードYouTubeビデオ[リンク]