TTS MultiLingual

Текст в речь (TTS) с плагином Gradio

Установите TTS

pip install TTS

Если вы планируете кодировать или тренировать модели, клонируйте TTS и установите их локально.

git clone https://github.com/saba99/TTS-MultiLingual
pip install -e .[all,dev,notebooks]  # Select the relevant extras

Если вы находитесь на Ubuntu (Debian), вы также можете запустить следующие команды для установки.

$ make system-deps  # intended to be used on Ubuntu (Debian). Let us know if you have a different OS.
$ make install

Синтезирующая речь TTS

? Python API

 from TTS . api import TTS

# Running a multi-speaker and multi-lingual model

# List available TTS models and choose the first one
model_name = TTS . list_models ()[ 0 ]
# Init TTS
tts = TTS ( model_name )
# Run TTS
# Since this model is multi-speaker and multi-lingual, we must set the target speaker and the language
# Text to speech with a numpy output
wav = tts . tts ( "This is a test! This is also a test!!" , speaker = tts . speakers [ 0 ], language = tts . languages [ 0 ])
# Text to speech to a file
tts . tts_to_file ( text = "Hello world!" , speaker = tts . speakers [ 0 ], language = tts . languages [ 0 ], file_path = "output.wav" )

# Running a single speaker model

# Init TTS with the target model name
tts = TTS ( model_name = "tts_models/de/thorsten/tacotron2-DDC" , progress_bar = False , gpu = False )
# Run TTS
tts . tts_to_file ( text = "Ich bin eine Testnachricht." , file_path = OUTPUT_PATH )

# Example voice cloning with YourTTS in English, French and Portuguese:
tts = TTS ( model_name = "tts_models/multilingual/multi-dataset/your_tts" , progress_bar = False , gpu = True )
tts . tts_to_file ( "This is voice cloning." , speaker_wav = "my/cloning/audio.wav" , language = "en" , file_path = "output.wav" )
tts . tts_to_file ( "C'est le clonage de la voix." , speaker_wav = "my/cloning/audio.wav" , language = "fr-fr" , file_path = "output.wav" )
tts . tts_to_file ( "Isso é clonagem de voz." , speaker_wav = "my/cloning/audio.wav" , language = "pt-br" , file_path = "output.wav" )


# Example voice conversion converting speaker of the `source_wav` to the speaker of the `target_wav`

tts = TTS ( model_name = "voice_conversion_models/multilingual/vctk/freevc24" , progress_bar = False , gpu = True )
tts . voice_conversion_to_file ( source_wav = "my/source.wav" , target_wav = "my/target.wav" , file_path = "output.wav" )

# Example voice cloning by a single speaker TTS model combining with the voice conversion model. This way, you can
# clone voices by using any model in TTS.

tts = TTS ( "tts_models/de/thorsten/tacotron2-DDC" )
tts . tts_with_vc_to_file (
    "Wie sage ich auf Italienisch, dass ich dich liebe?" ,
    speaker_wav = "target/speaker.wav" ,
    file_path = "ouptut.wav"
)

# Example text to speech using [Coqui Studio](https://coqui.ai) models. You can use all of your available speakers in the studio.
# [Coqui Studio](https://coqui.ai) API token is required. You can get it from the [account page](https://coqui.ai/account).
# You should set the `COQUI_STUDIO_TOKEN` environment variable to use the API token.

# If you have a valid API token set you will see the studio speakers as separate models in the list.
# The name format is coqui_studio/en/<studio_speaker_name>/coqui_studio
models = TTS (). list_models ()
# Init TTS with the target studio speaker
tts = TTS ( model_name = "coqui_studio/en/Torcull Diarmuid/coqui_studio" , progress_bar = False , gpu = False )
# Run TTS
tts . tts_to_file ( text = "This is a test." , file_path = OUTPUT_PATH )
# Run TTS with emotion and speed control
tts . tts_to_file ( text = "This is a test." , file_path = OUTPUT_PATH , emotion = "Happy" , speed = 1.5 )

Вывод аудио

Краткий пример	Краткий пример	Краткий пример
Rainbow.mp4	Windy.mp4	Винди-2.mp4
Радуга - это метеорологическое явление, которое вызвано отражением, преломлением и рассеиванием света	Водитель усвоил свой урок. Он больше никогда не будет ездить на ветру	Люди снаружи наклоняются. Ветер затрудняет ходьбу
Длинный пример	Длинный пример	Длинный пример
An.apple.pie.mp4	Cat. и.A.Dog.mp4	the.farmer.mp4
Дерево было полно красных яблок. Фермер ехал на своей коричневой лошади. Он остановился под деревом. Он протянул руку и выбрал яблоко с ветки. Он прикусил сырое яблоко. Он наслаждался яблоком. Его лошадь повернула голову, чтобы посмотреть на него. Фермер выбрал еще одно яблоко с дерева. Он дал его лошади. Лошадь съела сырое яблоко. Лошадь наслаждалась яблоком. Фермер положил дюжину яблок в сумку. Он поехал на лошади домой. Он положил лошадь в сарай. Он вошел в свой дом. Кошка потерла ногу. Он дал кошке миску с теплым молоком. /td>	Черная кошка подпрыгнула на стул. Он посмотрел на белую собаку. Собака жула на кости. Кошка прыгнула на собаку. Собака продолжала жевать кость. Кошка играла с хвостом собаки. Собака продолжала жевать кость. Кошка прыгнула на стул. Он начал облизывать свои лапы. Собака встала. Это посмотрело на кошку. Это лизнуло мех кошки. Кошка лизнула нос собаки. Собака вернулась к своей кости. Мальчик пробежал по комнате. На нем была желтая рубашка. Он почти столкнулся с креслом. Кошка спрыгнула со стула. Кошка прыгнула на диван.	Фермер управляет трактором. Трактор копает землю. Он сажает желтую кукурузу в землю. Он сажает желтую кукурузу весной. Кукуруза растет летом. Дождь помогает кукурузу расти. Если нет дождя, кукуруза умирает. Если есть много дождя, есть много кукурузы. Он собирает желтую кукурузу в конце лета. Он продает кукурузу на своей овощной стойке. Он продает одно ухо за 25 центов. Он продает четыре уша за 1 доллар. Он продает всю свою кукурузу всего за один месяц. Соседи любят его кукурузу. Кукуруза свежая. Это ярко -желтый. Это вкусно. Это вкусно. Птицы тоже любят его кукурузу. Они не платят за это. Они едят это, пока он находится в поле
Многоязычная поддержка: английский	Многоязычная поддержка: французский	Многоязычная поддержка: голландский
Rain.and.hail.mp4	fr-rain.and.hail.mp4	nl-rain.and.hail.mp4
Темные облака были в небе. Солнце ушло вниз. Погода стала холодной. Ветер начал дуть. Листья сдули деревья. Бумага пролетала по воздуху. Люди застегнули свои куртки. Дождь начал падать. Сначала было тихо. Тогда стало громче	Un arcoíris o arco is es on fenómeno óptico y meteorológico que encee en ra aparición en el cielo de un arco de luz multycolor	Een Regenboog - это een gekleurde cirkelboog die aan de hemel waargenomen kan worden als de, laagstaande

Командная строка tts

Модели с одним динамиком

• Список предоставленных моделей:

   $ tts --list_models
  

• Получить информацию о модели (как для tts_models, так и для Vocoder_models):

   ```
   $ tts --model_info_by_name tts_models/tr/common-voice/glow-tts
    ```
    ```
    $ tts --model_info_by_name vocoder_models/en/ljspeech/hifigan_v2
    ```
  

• Запустите TTS с моделями по умолчанию:

  Например:

   $ tts --text "Text for TTS" --model_name "tts_models/en/ljspeech/glow-tts" --out_path output/path/speech.wav
  

Модели с несколькими динамиками

• Запустите свою собственную модель Multi-Speaker TTS:

   $ tts --text "Text for TTS" --out_path output/path/speech.wav --model_path path/to/model.pth --config_path path/to/config.json --speakers_file_path path/to/speaker.json --speaker_idx <speaker_id>
  

Структура каталога

 |- notebooks/       (Jupyter Notebooks for model evaluation, parameter selection and data analysis.)
|- utils/           (common utilities.)
|- TTS
    |- bin/             (folder for all the executables.)
      |- train*.py                  (train your target model.)
      |- ...
    |- tts/             (text to speech models)
        |- layers/          (model layer definitions)
        |- models/          (model definitions)
        |- utils/           (model specific utilities.)
    |- speaker_encoder/ (Speaker Encoder models.)
        |- (same)
    |- vocoder/         (Vocoder models.)
        |- (same)