deepaudio tts

deepaudio-ttsとは何ですか？

DeepAudio-TTSは、ニューラルネットワークベースのテキストからスピーチ（TTS）モデルをトレーニングするためのフレームワークです。これには、TTSおよびボコーダーモデル向けの一般的なニューラルネットワークアーキテクチャが含まれます。

混合精度、マルチノードトレーニング、TPUトレーニングなどのさまざまな機能を簡単に使用できるようにするために、このフレームワークでPytorch-LightingとHydraを導入しました。それはまだ開発中です。

トレーニングの例

1. あなたのデータを事前に処理します。 （すぐにスクリプトを通過するか、このステップのパドルスピーチのチュートリアルに従うことができます。）
2. モデルをトレーニングします。 DeepAudio/TTS/CLI/CONFIGS/実験で1つの実験を選択できます。次に、次の行でモデルをトレーニングします。

 $ export PYTHONPATH="${PYTHONPATH}:/dir/of/this/project/"
$ python -m deepaudio.tts.cli.train experiment=tacotron2 datamodule.train_metadata=/you/path/to/train_metadata datamodule.dev_metadata=/you/path/to/dev_metadata

サポートされているモデル

1. Tacotron2
2. fastspeech2
3. トランスTTS
4. パラレルウェーブガン
5. ヒフィガン
6. vits

将来の計画

クリーンコード

1. 冗長コードを削除します。
2. deepaudio.tts.modelsをよりきれいにします。

モデル

1. 他のモデル。
2. 前処理されたモデル。

展開

1. onnx
2. jit

deepaudio-ttsに貢献する方法

それは個人的なプロジェクトです。したがって、多くの実験を行うのに十分なGPUリソ​​ースがありません。このプロジェクトはまだ開発中です。どんな種類のフィードバックや貢献に感謝しています。バグ修正、実験結果など、いくつかの小さな問題については、お気軽にrequsestを作成してください。ご質問がある場合は、問題を開いてください。

認める

ESPNETとパドルスピーチから多くのコードを借りました