german tts 다운로드 - german tts 소스 코드 다운로드

german tts

AI 소스 코드

v1

다운로드

독일인

TF 라이트 추론 지원이있는 텐서 플로우의 독일 타코트론 2 및 다중 대역 멜간

승인

Google은 Google 클라우드 크레딧을 제공 하여이 작업을 지원했습니다. 오픈 소스를 지원해 주신 Google에 감사드립니다! ?

개요

나는 사전에 사전 된 독일의 신경 텍스트 음성 연설 (TTS) 모델 타코트론 2와 멀티 밴드 멜간을 공개하고 있습니다. saved_model 및 TF Lite 형식의 추론을 지원하며 모든 모델은 Tensorflow Hub에서 찾을 수 있습니다.

당신이 무엇이든 유용하다고 생각되면 토론에서 인사하십시오.

saved_model 로 추론하려면 inference.py 참조하십시오.
TF Lite 로 추론하려면 inference_tflite.py 참조하십시오.
이 모델 형식으로 내보낸 방법을 확인하려면 e2e-notebook.ipynb 참조하십시오.
사전에 걸린 모델을 다운로드하려면 릴리스를 참조하십시오.

데이터 세트

Thorsten Müller의 Thorsten 데이터 세트 에서이 모델을 교육했습니다. CC0 (Creative Commons Zero V1 Universal)의 조건에 따라 라이센스가 부여되며, 이는 저작권을 완전히 벗어나서 작업이 가장 넓은 범위를 갖도록하는 데 사용됩니다. 커뮤니티에 큰 기여를 해주신 @thorstenmueller에게 감사드립니다.

메모

일부 좋은 사람들은 이미 영어, 중국어 및 한국어로 TTS를 지원하고있는 Tensorspeech/Tensorflowtts에서 훌륭한 일을하고 있습니다. 나는 독일어에 대한 지원에 기여 하고이 모델을 훈련시키고 싶었습니다. 이제 적절한 프로세서와의 교육 및 추론을 모두 지원합니다. 자세한 블로그 게시물이 후속 조치를 취하지 만 현재는 몇 가지 빠른 메모입니다.

나는 텍스트 전처리를 위해 german_translerate를 사용했습니다. 기본적으로 숫자를 정규화하고 (예 : 숫자를 단어로 변환), 약어를 확장하고 독일 Umlauts 및 Purtuations를 돌 봅니다. 이 repo에서 발표 된 추론 예제의 경우 텐서 플로와는 별도로 유일한 의존성입니다.
입력 텍스트를 숫자 ID로 변환하려면 모델에 공급해야합니다. 추론 예제에서 이것에 대한 참조 구현을 공유하고 있으며,이 논리를 코딩하여 비 파이썬 환경 (예 : Android)에서 모델을 사용해야합니다.
Tacotron 2 마지막에 약간의 소음을 생성하므로 잘라야합니다. 다시 말하지만, 추론 예제는 이것을 수행하는 방법을 보여줍니다.
기본값으로 내보낼 때 배경 노이즈를 생성했기 때문에 최적화없이 Multi-band MelGAN TF Lite 로 내보냈습니다. Tacotron 2 에서 기본 최적화를 사용했습니다.
여기에서 공개하는 saved_model 형식은 미세 조정에 적합하지 않습니다. 아키텍처 구현은 Tensorflow 2.X에서 Subclassing API 사용하고 교육 중 교사 강제를위한 call 방법에 여러 입력을 가져옵니다. 이로 인해 saved_model 로 내보낼 때 몇 가지 문제가 발생했으며 내보내기 전에이 논리를 제거해야했습니다. 모델을 정합하려면 Tensorflowtts의 포크를 참조하십시오.