FireRedTTS

Fireredtts: uma estrutura de texto em fala da fundação para aplicações de fala generativas no nível do setor

? Papel de fogo ??

? Demonses de Firredtts ??

? Firredtts Space (Demo interativa) ??

Notícias

• [2024/10/17] Lançamos um novo modelo de pontuação rica, oferecendo cobertura de pontuação expandida e consistência aprimorada da produção de áudio. Além disso, fortalecemos as capacidades do front-end de texto e aumentamos a estabilidade da síntese.
• [2024/09/26] Nosso modelo já está disponível no espaço Huggingface, experimente a interface interativa.
• [2024/09/20] Lançamos os pontos de verificação pré-treinado e o código de inferência.
• [2024/09/06] Lançamos o relatório técnico e a página do projeto

Roteiro

• 2024/09

  • Libere os pontos de verificação pré-treinados e o código de inferência.
  • Conjunto de testes de liberação.

• 2024/10

  • Libere a versão de pontuação rica.
  • Libere pontos de verificação FinetUned para uma geração de fala do tipo humano controlável.

Uso

Clonar e instalar

• Clone o repo

https://github.com/FireRedTeam/FireRedTTS.git
cd FireRedTTS

• Crie conda Env

 # step1.create env
conda create --name redtts python=3.10

# stpe2.install torch （pytorch should match the cuda-version on your machine）
# CUDA 11.8
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=11.8 -c pytorch -c nvidia
# CUDA 12.1
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia

# step3.install fireredtts form source
pip install -e . 

# step4.install other requirements
pip install -r requirements.txt

Baixar modelos

Faça o download dos arquivos de modelo necessários de Model_lists e coloque -os na pasta pretrained_models

Uso básico

 import os
import torchaudio
from fireredtts . fireredtts import FireRedTTS

tts = FireRedTTS (
    config_path = "configs/config_24k.json" ,
    pretrained_path = < pretrained_models_dir > ,
)

#same language
rec_wavs = tts . synthesize (
        prompt_wav = "examples/prompt_1.wav" ,
        text = "小红书，是中国大陆的网络购物和社交平台，成立于二零一三年六月。" ,
        lang = "zh" ,
)

rec_wavs = rec_wavs . detach (). cpu ()
out_wav_path = os . path . join ( "./example.wav" )
torchaudio . save ( out_wav_path , rec_wavs , 24000 )

Pontas

• Remover o longo silêncio (> 1s) no meio de Prompt_wav pode trazer melhor estabilidade. Se houver muitos silêncios longos em seu prompt_wav e isso causar problemas de estabilidade, é recomendável usar nossa ferramenta ( tools/process_prompts.py ) para remover o silêncio.

Agradecimentos

• Tortoise-TTS e XTTS-V2 oferecem informações inestimáveis para a construção de um sistema de estilo autoregressivo.

• Matcha-TTS e Cosyvoice demonstram a excelente capacidade de correspondência de fluxo na conversão de código de áudio em MEL.

• Bigvgan-v2 , utilizado para vocoding.

• Nós nos referimos à solução de tokenizador de texto do Whisper .