BERT MB iSTFT VITS

Bert-MB-ISTFT-Vits

• Unterstützte Sprache: Koreanisch, Japanisch, Chinesisch, Englisch, Französisch, Spanisch

Inhaltsverzeichnis

• Voraussetzungen
• Installation
• Transkript erstellen
• Vorverarbeitung
• Ausbildung
• Schlussfolgerung
• Aufgabe
• Referenzen

Voraussetzungen

• Ein Windows/Linux -System mit mindestens 16GB RAM.
• Eine GPU mit mindestens 12GB VRAM.
• Python == 3,8
• Anaconda installiert.
• Pytorch installiert.
• CUDA 11.x installiert.

Befehl pytorch installieren:

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117

CUDA 11.7 Install: https://developer.nvidia.com/cuda-11-7-0-download-archive

---

Installation

1. Erstellen Sie eine Anaconda -Umgebung:

conda create -n vits python=3.8

2. Aktivieren Sie die Umgebung:

conda activate vits

3. Klonen Sie dieses Repository in Ihre lokale Maschine:

git clone https://github.com/project-elnino/BERT-MB-iSTFT-VITS.git

4. Navigieren Sie zum geklonten Verzeichnis:

 cd BERT-MB-iSTFT-VITS

5. Installieren Sie die erforderlichen Abhängigkeiten:

pip install -r requirements.txt

Transkript erstellen

 path/to/audio_001.wav |<speaker_name>|<language_code>|<text_001>

• Beispiel

 ../kss2/1/1_0000.wav|KR-default|KR|그는 괜찮은 척하려고 애쓰는 것 같았다.

Vorverarbeitung

python preprocess.py --metadata ./metadata.list --config_path ./configs/config.json

Wenn Ihre Sprachdatei entweder nicht Mono / PCM-16 ist, sollten Sie zuerst Ihre .wav-Datei wiederproben.

Einstellen der JSON -Datei in Konfigurationen

Modell	So richten Sie die JSON -Datei in Konfigurationen ein	Beispiel der JSON -Dateikonfiguration
iStft-its	"istft_vits": true, "upsample_rates": [8,8],	ljs_istft_vits.json
MB-ISTFT-Vits	"subbands": 4, "mb_istft_vits": true, "upsample_rates": [4,4],	ljs_mb_istft_vits.json
Ms-istft-vits	"subbands": 4, "ms_istft_vits": true, "upsample_rates": [4,4],	ljs_ms_istft_vits.json

• Wenn Sie die Vorverarbeitung durchgeführt haben, setzen Sie "Creaned_text" auf true.
• Ändern Sie training_files und validation_files in den Pfad der vorverarbeiteten Manifestdateien.

Ausbildung

python train.py -c < config > -m < folder >

Das Lebenslauf -Training vom letzten Kontrollpunkt ist automatisch.

Schlussfolgerung

Check Inference.py

python inference.py -m ./models/kss/G_64000.pth

Serverinferenz

python inference_server.py -m ./models/kss/G_64000.pth

Inferenzieren

curl -X POST -H " Content-Type: application/json " -d ' {"text": "잠시 통화 괜찮으시면 전화를 끊지 말아주세요."} ' http://localhost:5000/synthesize

Aufgabe

• Koreanische TTS -Operation bestätigt

Referenzen

• Masayakawamura/MB-ISTFT-Vits
• Myshell-ai/Meloten