detail_tts

詳細TTS

このモデルは、AR TTSのベストプラクティスになるための3つの重要な重要な方法を新たに提案しました。

• RVQが使用されていますが、実際のトレーニングは継続的な機能を採用していますが、偽の離散化と呼びます。
• すべて1つのモデル。このモデルには、GPT、拡散、vqvae、gan、およびflowvaeがすべて1つに含まれています。 1つの列車1つの推論。
• プレフィックスされたSPK EMBとプロンプトの両方を使用して、Valleタイプの推論とカメ型トレーニングの両方から利益を得ることができます。

モデルが10000時間の非常に汚れたデータでトレーニングされた後に得られた結果を次に示します。モデルは、多くの低品質のデータで簡単に拡大できます。

プロンプト0

PROMPT00.MOV

生成0

PROMPT01.MOV

プロンプト1

PROMPT10.MOV

生成1

PROMPT12.MOV

プロンプト2

PRONT20.MOV

生成2

PROMPT21.MOV

推論

api.pyを確認してください

データセットの準備

パスを変更して、スクリプトにオーディオを含み、実行します

 python prepare/0_vad_asr_save_to_jsonl.py

電車と微調整

 accelerate launch train.py

微調整のために、プレインモデルのロードパスを変更します。

謝辞

GSVからのVQおよびVIT

カメからの拡散とGPT