PolyLangVITS

• polylangvits

VITを使用した多言語音声合成システム

目次

• 前提条件
• インストール
• prepare_datasets
• 使用法
• 推論
• 参照

前提条件

• 最低16GB RAMを備えたWindows/Linuxシステム。
• 少なくとも12GBのVRAMを持つGPU。
• python == 3.8
• アナコンダがインストールされました。
• Pytorchがインストールされました。
• CUDA 11.xがインストールされました。
• ZLIB DLLがインストールされました。

Pytorchインストールコマンド：

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117

CUDA 11.7インストール： https://developer.nvidia.com/cuda-11-7-0-download-archive

ZLIB DLLインストール： https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html#install-zlib-windows

Pyopenjtalkを手動でインストールする： pip install -U pyopenjtalk --no-build-isolation

このコマンドがインストールされていない場合は、 cmakeに進む前に次のCythonをインストールしてください。

---

インストール

1. アナコンダ環境を作成します：

conda create -n polylangvits python=3.8

2. 環境を有効にします：

conda activate polylangvits

3. このリポジトリをローカルマシンにクローンします。

git clone https://github.com/ORI-Muchim/PolyLangVITS.git

4. クローン化されたディレクトリに移動します。

 cd PolyLangVITS

5. 必要な依存関係をインストールします。

pip install -r requirements.txt

---

prepare_datasets

次のようにオーディオファイルを配置します。

.mp3または.wavファイルは大丈夫です。

スピーカーフォルダーの背面に「[言語コード]」を記述する必要があります。

 PolyLangVITS
├────datasets
│       ├───speaker0[KO]
│       │   ├────1.mp3
│       │   └────1.wav
│       └───speaker1[JA]
│       │    ├───1.mp3
│       │    └───1.wav
│       ├───speaker2[EN]
│       │   ├────1.mp3
│       │   └────1.wav
│       ├───speaker3[ZH]
│       │   ├────1.mp3
│       │   └────1.wav
│       ├integral.py
│       └integral_low.py
│
├────vits
├────get_pretrained_model.py
├────inference.py
├────main_low.py
├────main_resume.py
├────main.py
├────Readme.md
└────requirements.txt

これは単なる例であり、スピーカーを追加しても大丈夫です。

---

使用法

このツールを開始するには、次のコマンドを使用して、{Language}、{model_name}、および{sample_rate}をそれぞれの値に置き換えます。

python main.py {language} {model_name} {sample_rate}

仕様が低い人（VRAM <12GB）については、このコードを使用してください。

python main_low.py {language} {model_name} {sample_rate}

データ構成が完了し、トレーニングを再開する場合は、このコードを入力してください。

python main_resume.py {model_name}

---

推論

モデルがトレーニングされた後、次のコマンドを使用して予測を生成し、{model_name}と{model_step}をそれぞれの値に置き換えることができます。

python inference.py {model_name} {model_step}

テキストから音声推論については、次のものを使用してください。

python inference-stt.py {model_name} {model_step}

また、コードを編集せずにテキストを手動で渡すことができます。

python inference-stt.py {model_name} {model_step} {text}

---

参照

詳細については、次のリポジトリを参照してください。

• jaywalnut310/vits
• cjangcjengh/vits
• kyubyong/g2pk
• テネボ/g2pk2
• henrymass/audioslicer