BERT MB iSTFT VITS

bert-mb-distft-vits

• サポート言語：韓国語、日本、中国語、英語、フランス語、スペイン語

目次

• 前提条件
• インストール
• トランスクリプトを作成します
• プリプロース
• トレーニング
• 推論
• やる
• 参照

前提条件

• 最低16GB RAMを備えたWindows/Linuxシステム。
• 少なくとも12GBのVRAMを持つGPU。
• python == 3.8
• アナコンダがインストールされました。
• Pytorchがインストールされました。
• CUDA 11.xがインストールされました。

Pytorchインストールコマンド：

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117

CUDA 11.7インストール： https://developer.nvidia.com/cuda-11-7-0-download-archive

---

インストール

1. アナコンダ環境を作成します：

conda create -n vits python=3.8

2. 環境を有効にします：

conda activate vits

3. このリポジトリをローカルマシンにクローンします。

git clone https://github.com/project-elnino/BERT-MB-iSTFT-VITS.git

4. クローン化されたディレクトリに移動します。

 cd BERT-MB-iSTFT-VITS

5. 必要な依存関係をインストールします。

pip install -r requirements.txt

トランスクリプトを作成します

 path/to/audio_001.wav |<speaker_name>|<language_code>|<text_001>

• 例

 ../kss2/1/1_0000.wav|KR-default|KR|그는 괜찮은 척하려고 애쓰는 것 같았다.

プリプロース

python preprocess.py --metadata ./metadata.list --config_path ./configs/config.json

スピーチファイルがMono / PCM-16ではない場合、最初に.wavファイルをリゾートする必要があります。

構成でJSONファイルを設定します

モデル	構成でJSONファイルを設定する方法	JSONファイル構成のサンプル
istft-vits	"istft_vits": true, "upsample_rates": [8,8],	ljs_istft_vits.json
MB-ISTFT-VITS	"subbands": 4, "mb_istft_vits": true, "upsample_rates": [4,4],	ljs_mb_istft_vits.json
MS-ISTFT-VITS	"subbands": 4, "ms_istft_vits": true, "upsample_rates": [4,4],	ljs_ms_istft_vits.json

• 前処理を行った場合は、「cleaned_text」をtrueに設定します。
• training_filesとvalidation_files前処理されたマニフェストファイルのパスに変更します。

トレーニング

python train.py -c < config > -m < folder >

最新チェックポイントからの履歴書トレーニングは自動です。

推論

inconference.pyを確認してください

python inference.py -m ./models/kss/G_64000.pth

サーバーの推論

python inference_server.py -m ./models/kss/G_64000.pth

推論をします

curl -X POST -H " Content-Type: application/json " -d ' {"text": "잠시 통화 괜찮으시면 전화를 끊지 말아주세요."} ' http://localhost:5000/synthesize

やる

• 韓国のTTS操作が確認されました

参照

• 大川村/MB-Istft-vits
• Myshell-Ai/Melotts