NATSpeech

natspeech：非自己網羅的なテキストからスピーチのフレームワーク

| | 中文文档

このリポジトリには、次の公式のPytorch実装が含まれています。

• Portaspeech：ポータブルで高品質の生成テキストからスピーチ（Neurips2021）
  デモページ|ハギングフェイス？デモ
• Diffsinger：浅い拡散メカニズムを介した音声合成を歌う（diffspeech）（aaai 2022）
  デモページ|プロジェクトページ|ハギングフェイス？デモ

重要な機能

このフレームワークで次の機能を実装します。

• モントリオールの強制アライナーを使用した非自動性テキストからスピーチへのデータ処理。
• トレーニングと推論のための便利でスケーラブルなフレームワーク。
• シンプルだが効率的なランダムアクセスデータセットの実装。

依存関係をインストールします

 # # We tested on Linux/Ubuntu 18.04. 
# # Install Python 3.6+ first (Anaconda recommended).

export PYTHONPATH=.
# build a virtual env (recommended).
python -m venv venv
source venv/bin/activate
# install requirements.
pip install -U pip
pip install Cython numpy==1.19.1
pip install torch==1.9.0 # torch >= 1.9.0 recommended
pip install -r requirements.txt
sudo apt install -y sox libsox-fmt-mp3
bash mfa_usr/install_mfa.sh # install forced alignment tool 

ドキュメント

• フレームワークについて
• partaspeechを実行します
• diffspeechを実行します

引用

これがあなたの研究に役立つと思うなら、次の論文を引用してください。

• partaspeech

 @article { ren2021portaspeech ,
  title = { PortaSpeech: Portable and High-Quality Generative Text-to-Speech } ,
  author = { Ren, Yi and Liu, Jinglin and Zhao, Zhou } ,
  journal = { Advances in Neural Information Processing Systems } ,
  volume = { 34 } ,
  year = { 2021 }
}

• diffspeech

 @article { liu2021diffsinger ,
  title = { Diffsinger: Singing voice synthesis via shallow diffusion mechanism } ,
  author = { Liu, Jinglin and Li, Chengxi and Ren, Yi and Chen, Feiyang and Liu, Peng and Zhao, Zhou } ,
  journal = { arXiv preprint arXiv:2105.02446 } ,
  volume = { 2 } ,
  year = { 2021 }
 }

謝辞

私たちのコードは、次のレポの影響を受けます。

• Pytorch Lightning
• Parallelwavegan
• hifi-gan
• espnet
• glow-tts
• diffspeech

ライセンスと契約

組織または個人は、政府の指導者、政治的人物、有名人を含むがこれらに限定されない、この論文で言及された技術を使用して誰かの同意なしにスピーチを生成することを禁止されています。このアイテムに準拠していない場合は、著作権法に違反する可能性があります。