zh tts

Zho-TTS

Веб-приложение, интерфейс командной строки и библиотека Python для синтеза китайских текстов в речь.

Установка

pip install zho-tts --user

Использование в качестве веб -приложения

Посещать ? Обнимаю лицо для живой демонстрации.

Вы также можете запустить его локально выполнять zho-tts-web в CLI и открывать свой браузер на http://127.0.0.1:7860.

Использование как CLI

zho-tts-cli synthesize "长江 航务 管理局 和 长江 轮船 总公司 最近 决定 安排 一百三十三 艘 客轮 迎接 长江 干线 春运。 "

Вывод можно слушать здесь.

 # Same example using IPA input
zho-tts-cli synthesize-ipa " ʈʂː|a˧˩˧˘|ŋ|tɕ˘|j|a˥˘|ŋ˘|SIL0|x|a˧˥˘|ŋ|u˥˩|SIL0|k|w|a˧˩˧|n|l˘|i˧˩˧|tɕː|y˧˥ˑ|SIL0|x|ɤ˧˥|SIL0|ʈʂː|a˧˩˧˘|ŋ|tɕ˘|j|a˥˘|ŋ|SIL0|l|w|ə˧˥|n|ʈʂʰ˘|w|a˧˥|n|SIL0|ts˘|ʊ˧˩˧|ŋ˘|kː|ʊ˥|ŋ|s|ɹ̩˥ˑ|SIL0|ts|w˘|ei̯˥˩|tɕ|i˥˩˘|n|SIL0|tɕ|ɥ|e˧˥|t|i˥˩|ŋ|SIL3|a˥|n|pʰ|ai̯˧˥|SIL0|i˥ˑ|p|ai̯˧˩˧|s|a˥˘|n|ʂ˘|ɻ̩˧˥|s|a˥|n|SIL0|s˘|ou̯˥|SIL0|kʰˑ|ɤ˥˩|lː|wˑ|ə˧˥ˑ|n|SIL0|i˧˥ː|ŋ|tɕ˘|j˘|e˥|SIL0|ʈʂː|a˧˩˧|ŋ|tɕ˘|j|a˥˘|ŋ|SIL0|k˘|a˥˩|n|ɕ|j˘|ɛ˥˩|n˘|SIL0|ʈʂʰˑ|w˘|ə˥˘|nː|y˥˩ˑ|nː|。 "

Вывод можно слушать здесь.

Использование в качестве библиотеки

 from pathlib import Path
from tempfile import gettempdir

from zho_tts import Synthesizer , Transcriber , normalize_audio , save_audio

text = "长江 航务 管理局 和 长江 轮船 总公司 最近 决定 安排 一百三十三 艘 客轮 迎接 长江 干线 春运。"

transcriber = Transcriber ()
synthesizer = Synthesizer ()

text_ipa = transcriber . transcribe_to_ipa ( text )
audio = synthesizer . synthesize ( text_ipa )

tmp_dir = Path ( gettempdir ())
save_audio ( audio , tmp_dir / "output.wav" )

# Optional: normalize output
normalize_audio ( tmp_dir / "output.wav" , tmp_dir / "output_norm.wav" )

Модель информация

Используемая модель TTS опубликована здесь.

Фонема набор

• Гласные: a ɛ e ə ɚ ɤ iou ʊ y
• Diphthongs: ai̯ au̯ ei̯ ou̯
• Согласители: fjk kʰ lmnp pʰ ɹ̩ ɻ ɻ ɻ̩ ɻ̩ ɻ̩ ɻ̩ st ts tɕ tʰ tʰ wx ŋ ɕ ɥ ʈʂ ʈʂ ʈʂʂʂʰ ʈʂʂʂʰ ʈʂʂʂʰ ʈʂʂʂʰ ʈʂʂʂʰ ʈʂʂʂʰ ʈʂʂʂʰ ʈʂ ʈʂ ʈʂ ʈʂ ʈʂ
• Перерывы:
  • Sil0 (без перерыва)
  • Sil1 (короткий перерыв)
  • Sil2 (перерыв)
  • Sil3 (длинный перерыв)
• Специальные персонажи :. ?

Гласные и дифтоны содержат один из этих тонов:

• ˥ (первый тон)
• ˧˥ (второй тон)
• ˧˩˧ (третий тон)
• ˥˩ (четвертый тон)
• (никто)

¹ Эти согласные содержат также тона.

Гласные, дифтоны и согласные содержат один из этих маркеров продолжительности:

• ˘ -> очень короткий, например, ou̯
• ничего -> нормально, например, ou̯
• ˑ -> Половина длиной, например, OU̯ˑ
• ː -> Long, например, OU̯ː

Тоны и маркеры продолжительности могут быть объединены, например, ə˧˥ː

Докладчики

Цитирование

Если вы хотите процитировать этот репо, вы можете использовать Bibtex-Entry, сгенерированный GitHub (см. Об этом => цитируйте этот репозиторий ).

• Таубер, С. (2024). Zho-TTS (версия 0.0.2) [Компьютерное программное обеспечение]. https://doi.org/10.5281/zenodo.11048515

Благодарности

Финансируется Deutsche Forschungsgemeinschaft (DFG, немецкий исследовательский фонд)-Project-ID 416228727-CRC 1410

Авторы с благодарностью признают поддержку GWK за основание этого проекта, предоставляя вычислительное время через Центр для информационных услуг и HPC (ZIH) в Ту Дрезден.

Авторы благодарны Центру за информационные услуги и высокопроизводительные вычисления [Zentrum Fur Informationsdienste und Hochleistungsrechnen (ZIH)] в Tu Dresden за предоставление своих объектов для высокой пропускной способности.