zh tts

zho-tts

Aplicativo da Web, interface de linha de comando e biblioteca Python para sintetizar textos chineses em fala.

Instalação

pip install zho-tts --user

Uso como aplicativo da web

Visitar? Abraçando o rosto para uma demonstração ao vivo.

Você também pode executá-lo localmente executando zho-tts-web na CLI e abrindo o navegador em http://127.0.0.1:7860.

Uso como CLI

zho-tts-cli synthesize "长江 航务 管理局 和 长江 轮船 总公司 最近 决定 安排 一百三十三 艘 客轮 迎接 长江 干线 春运。 "

A saída pode ser ouvida aqui.

 # Same example using IPA input
zho-tts-cli synthesize-ipa " ʈʂː|a˧˩˧˘|ŋ|tɕ˘|j|a˥˘|ŋ˘|SIL0|x|a˧˥˘|ŋ|u˥˩|SIL0|k|w|a˧˩˧|n|l˘|i˧˩˧|tɕː|y˧˥ˑ|SIL0|x|ɤ˧˥|SIL0|ʈʂː|a˧˩˧˘|ŋ|tɕ˘|j|a˥˘|ŋ|SIL0|l|w|ə˧˥|n|ʈʂʰ˘|w|a˧˥|n|SIL0|ts˘|ʊ˧˩˧|ŋ˘|kː|ʊ˥|ŋ|s|ɹ̩˥ˑ|SIL0|ts|w˘|ei̯˥˩|tɕ|i˥˩˘|n|SIL0|tɕ|ɥ|e˧˥|t|i˥˩|ŋ|SIL3|a˥|n|pʰ|ai̯˧˥|SIL0|i˥ˑ|p|ai̯˧˩˧|s|a˥˘|n|ʂ˘|ɻ̩˧˥|s|a˥|n|SIL0|s˘|ou̯˥|SIL0|kʰˑ|ɤ˥˩|lː|wˑ|ə˧˥ˑ|n|SIL0|i˧˥ː|ŋ|tɕ˘|j˘|e˥|SIL0|ʈʂː|a˧˩˧|ŋ|tɕ˘|j|a˥˘|ŋ|SIL0|k˘|a˥˩|n|ɕ|j˘|ɛ˥˩|n˘|SIL0|ʈʂʰˑ|w˘|ə˥˘|nː|y˥˩ˑ|nː|。 "

A saída pode ser ouvida aqui.

Uso como biblioteca

 from pathlib import Path
from tempfile import gettempdir

from zho_tts import Synthesizer , Transcriber , normalize_audio , save_audio

text = "长江 航务 管理局 和 长江 轮船 总公司 最近 决定 安排 一百三十三 艘 客轮 迎接 长江 干线 春运。"

transcriber = Transcriber ()
synthesizer = Synthesizer ()

text_ipa = transcriber . transcribe_to_ipa ( text )
audio = synthesizer . synthesize ( text_ipa )

tmp_dir = Path ( gettempdir ())
save_audio ( audio , tmp_dir / "output.wav" )

# Optional: normalize output
normalize_audio ( tmp_dir / "output.wav" , tmp_dir / "output_norm.wav" )

Informações do modelo

O modelo TTS usado é publicado aqui.

Conjunto de fonemas

• Vogais: a ɛ e ə ɚ ɤ iou ʊ y
• Ditongos: ai̯ au̯ ei̯ ou̯
• Consoantes: fjk kʰ lmnp pʰ ɹ̩¹ ɻ¹ ɻ̩¹ ɻ̩ decidt ts tɕ tʰ tʰ wx ŋ ɕ ɥ ʂ ʈʂ ʈʂʂʂʰ ʈʂʂʂʰ ʈʂʂʂʰ ʈʂʂʂʰ ʈʂʂʂʰ
• Breaks:
  • SIL0 (sem interrupção)
  • SIL1 (interrupção curta)
  • SIL2 (quebra)
  • SIL3 (pausa longa)
• Personagens especiais :. ?

Vogais e ditongos contêm um desses tons:

• ˥ (primeiro tom)
• ˧˥ (segundo tom)
• ˧˩˧ (terceiro tom)
• ˥˩ (quarto tom)
• (nenhum)

Essas consoantes também contêm tons.

Vogais, ditongos e consoantes contêm um desses marcadores de duração:

• ˘ -> muito curto, por exemplo, ou̯̯
• nada -> normal, por exemplo, ou̯
• ˑ -> meio comprimento, por exemplo, ou̯ˑ
• ː -> longo, por exemplo, ou̯ː

Tons e marcadores de duração podem ser combinados, por exemplo, ə˧˥ː

Alto -falantes

Citação

Se você deseja citar este repositório, pode usar o bibtex-entrada gerado pelo github (veja sobre => citar este repositório ).

• Taubert, S. (2024). ZHO-TTS (versão 0.0.2) [software de computador]. https://doi.org/10.5281/zenodo.11048515

Agradecimentos

Financiado pelo Deutsche Forschungsgeminschaft (DFG, Fundação de Pesquisa Alemã)-Projeto-ID 416228727-CRC 1410

Os autores reconhecem com gratidão o suporte da GWK para a base deste projeto, fornecendo tempo de computação através do Center for Information Services e HPC (ZIH) na TU Dresden.

Os autores agradecem ao Centro por serviços de informação e computação de alto desempenho [Zentrum Fur Informationsdienste und Hochleistungsrechnen (ZIH)] na TU Dresden por fornecer suas instalações para cálculos de alto rendimento.