vits japros webui

나는 스타일 -Bert-vits2 개발에 중점을 둘 것이므로 더 이상 이것을 업데이트하지 않을 것입니다 : https://github.com/litagin02/style-bert-vits2

Bert-vits2 참조 기사 : https://zenn.dev/litagin/articles/b1ddc1da5ea2b3

vits-japros-webui

이것은 일본어 vits 모델을 배우고 악센트로 음성을 종합 할 수있는 Windows 용 Webui입니다. 음성 합성 만있는 경우 그래픽 카드 없이도 사용할 수 있습니다.

? 음성 합성 데모

음성 합성	공부하다

Japros?

• ESPNET이라는 프레임 워크가있어 기계 학습에서 다양한 음성 처리 작업을 통합 할 수 있습니다.
• Vits는 ESPNET에서 TTS를 배우는 방법으로 사용될 수 있습니다.
• TTS를 학습 할 때 ESPNET을 사용하면 학습 텍스트 (일본 문장)를 음소 시퀀스 (G2P)로 변환하기위한 메소드 ( G2P )를 지정할 수 있으며 그 중 하나는 악센트 기호가 추가 된 pyopenjtalk_prosody 입니다.

이 상황에서는 pyopenjtalk_prosody 사용하여 일본어로 G2P로 교육을받은 모델을 가져 와서 편의를 위해 읽 습니다 (Bing-chan의 제안).

pyopenjtalk_prosody는 악센트와 같은 기호를 처리하므로 악센트를 제어하는 ​​데 사용할 수 있습니다 (ハ➚シハ➘シ).

악센트 기호 세부 사항

상징	역할	예
[	악센트는 여기에서 상승합니다 (➚의 이미지)	안녕하세요 →コ[ンニチワ
]	악센트는 여기에서 떨어집니다 (➘의 이미지)	교토 →キョ]オト
(반 폭 공간)	악센트시의 컷 (어떻게 든 한 조각의 케이크)	ソ[レワ ム[ズカシ]イ
、	포즈 (숨을 쉬고). 짧은 포즈를 만들고 싶을 때 사용하십시오.	ハ]イ、ソ[オ オ[モイマ]ス
?	질문의 끝에 추가하겠습니다.	キ[ミワ ダ]レ?

이게 뭔가요?

이것은 로컬 Windows 환경에서 VITS Japros 모델의 훈련,로드 및 음성 합성을 할 수있는 것입니다.

학습

• 더 빠른 창자를 사용하여 오디오 파일의 자동 전사
• 학습 자체는 Windows에서 실행되도록 수정되어 VITS Japros를 최소한의 작업으로 배울 수 있습니다.

언어 합성에 대해

• 카타 카나와 기호로 다소 직관적 인 악센트 제어 (아마도)
• 간단한 음성 속도, 피치 및 억양 조정 기능 (Pyworld에서)
• 또한 CPU에서 작동합니다 (학습 중에 별도로 시작하여 확인할 수 있음)
• 이를 사용하여 생성 된 모델이 아니더라도 ESPNET가있는 Vits의 Pyopenjtalk_prosody 인 모델 인 경우 config.yaml 에 포함되면 작동해야합니다.

사용 방법

설치하다

Python 3.10과 함께 Windows 11의 RTX 4070에서 작동한다고 확인했습니다.

1. 먼저이 저장소를 복제하십시오.

git clone https://github.com/litagin02/vits-japros-webui.git

2. 내부를 두 setup.bat 클릭하고 잠시 기다리십시오. Setup complete. 나타납니다, 당신은 끝났습니다.

사용 방법

• 학습 : webui_train.bat 두 번 클릭하십시오
• Speech Synthesis : pth 파일을 배치 한 다음 webui_infer.bat 두 번 클릭하려면 아래를 볼 수 있습니다.
• 업데이트 : Double Click update.bat

자세한 내용과 WebUI가 필요하지 않은 경우 여기를 클릭하십시오.

음성 합성 모델을 배치하십시오

모델의 경우 weights 디렉토리에 하위 디렉토리를 작성하고 {数字}epoch.pth 파일을 내부에 배치하십시오. 외부 모델을 사용하는 경우 (ESPNET과 함께 Vits의 Pyopenjtalk_prosody로 만든 모델과 호환되는 경우) 공부할 때 config.yaml 도 포함하십시오.

 weights
├── model1
│    └── 100epoch.pth
|── model2
│    ├── 50epoch.pth
│    └── config.yaml
...

신용 거래

• ESPNET :이 저장소는 원래 ESPNET Python 모듈을 사용하여 Windows에서 실행됩니다 ( os.uname 및 기호 링크 생성 위치에만 수정됩니다).