FireRedTTS

FireredTTS：一个针对行业级生成语音应用程序的基础文本到语音框架

？ fireredtts纸？

？ fireredtts演示？

？ fireredtts空间（交互式演示）??

消息

• [2024/10/17]我们发布了新的富函数模型，提供扩展的标点符号覆盖范围和增强的音频生产一致性。此外，我们增强了文本前端的能力并增强了合成的稳定性。
• [2024/09/26]我们的模型已经在HuggingFace Space上可用，可以通过交互式接口进行尝试。
• [2024/09/20]我们发布了预训练的检查点和推理代码。
• [2024/09/06]我们发布了技术报告和项目页面

路线图

• 2024/09

  • 发布预训练的检查点和推理代码。
  • 发布测试集。

• 2024/10

  • 发布丰富的标点符号。
  • 释放固定的检查站，可控制类似人类的语音生成。

用法

克隆并安装

• 克隆仓库

https://github.com/FireRedTeam/FireRedTTS.git
cd FireRedTTS

• 创建Conda Env

 # step1.create env
conda create --name redtts python=3.10

# stpe2.install torch （pytorch should match the cuda-version on your machine）
# CUDA 11.8
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=11.8 -c pytorch -c nvidia
# CUDA 12.1
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia

# step3.install fireredtts form source
pip install -e . 

# step4.install other requirements
pip install -r requirements.txt

下载型号

从model_lists下载所需的模型文件，然后将它们放入文件夹pretrained_models中

基本用法

 import os
import torchaudio
from fireredtts . fireredtts import FireRedTTS

tts = FireRedTTS (
    config_path = "configs/config_24k.json" ,
    pretrained_path = < pretrained_models_dir > ,
)

#same language
rec_wavs = tts . synthesize (
        prompt_wav = "examples/prompt_1.wav" ,
        text = "小红书，是中国大陆的网络购物和社交平台，成立于二零一三年六月。" ,
        lang = "zh" ,
)

rec_wavs = rec_wavs . detach (). cpu ()
out_wav_path = os . path . join ( "./example.wav" )
torchaudio . save ( out_wav_path , rec_wavs , 24000 )

尖端

• 在提示_WAV的中间删除长时间的沉默（> 1s）可能会带来更好的稳定性。如果您的提示_WAV中有太长的沉默并导致稳定性问题，建议使用我们的工具（ tools/process_prompts.py ）来消除沉默。

致谢

• Tortoise-TTS和XTTS-V2为构建自动回归风格的系统提供了宝贵的见解。

• Matcha-TTS和Cosyvoice展示了将音频代码转换为MEL中的流量匹配的出色能力。

• Bigvgan-v2 ，用于录音。

• 我们提到了Whisper的文本令牌解决方案。