FireRedTTS 다운로드 - FireRedTTS 소스 코드 다운로드

FireRedTTS

AI 소스 코드

1.0.0

다운로드

FIREREDTTS : 업계 수준의 생성 음성 응용 프로그램을위한 기초 텍스트 음성 프레임 워크

? Fireredtts 종이 ??

? Fireredtts 데모 ??

? Fireredtts Space (대화식 데모) ??

소식

[2024/10/17] 우리는 새로운 Rich-Purchuation 모델을 발표하여 확장 된 구두점 커버리지와 향상된 오디오 생산 일관성을 제공합니다. 또한 텍스트 프론트 엔드의 기능을 강화하고 합성의 안정성을 향상 시켰습니다.
[2024/09/26] 우리의 모델은 이미 Huggingface Space에서 사용할 수 있으며 대화식 인터페이스를 통해 시도해보십시오.
[2024/09/20] 우리는 미리 훈련 된 체크 포인트와 추론 코드를 릴리스합니다.
[2024/09/06] 기술 보고서와 프로젝트 페이지를 발표합니다

로드맵

2024/09
- 미리 훈련 된 체크 포인트 및 추론 코드를 해제하십시오.
- 릴리스 테스트 세트.
2024/10
- 풍부한 구두점 버전을 릴리스하십시오.
- 제어 가능한 인간과 같은 음성 생성에 대한 Finetuned 체크 포인트를 릴리스합니다.

용법

복제 및 설치

레포를 복제하십시오

https://github.com/FireRedTeam/FireRedTTS.git
cd FireRedTTS

Conda Env를 만듭니다

 # step1.create env
conda create --name redtts python=3.10

# stpe2.install torch （pytorch should match the cuda-version on your machine）
# CUDA 11.8
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=11.8 -c pytorch -c nvidia
# CUDA 12.1
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=12.1 -c pytorch -c nvidia

# step3.install fireredtts form source
pip install -e . 

# step4.install other requirements
pip install -r requirements.txt

모델 다운로드

Model_Lists 에서 필요한 모델 파일을 다운로드하여 폴더 pretrained_models 에 배치하십시오.

기본 사용

 import os
import torchaudio
from fireredtts . fireredtts import FireRedTTS

tts = FireRedTTS (
    config_path = "configs/config_24k.json" ,
    pretrained_path = < pretrained_models_dir > ,
)

#same language
rec_wavs = tts . synthesize (
        prompt_wav = "examples/prompt_1.wav" ,
        text = "小红书，是中国大陆的网络购物和社交平台，成立于二零一三年六月。" ,
        lang = "zh" ,
)

rec_wavs = rec_wavs . detach (). cpu ()
out_wav_path = os . path . join ( "./example.wav" )
torchaudio . save ( out_wav_path , rec_wavs , 24000 )

팁

Prompt_wav의 중간에 긴 침묵 (> 1s)을 제거하면 더 나은 안정성을 가져올 수 있습니다. Prompt_wav에 너무 긴 침묵이 너무 많고 안정성 문제가 발생하면 도구 ( tools/process_prompts.py )를 사용하여 침묵을 제거하는 것이 좋습니다.