Awesome ChatTTS

Inglês |

Awesome-Chattts é um projeto de resumo de recursos de chattts oficialmente recomendado.

Se você acha que este projeto é útil para você entender e usar chattts, dê -me algumas recompensas e apoio.

Observação

Os seguintes projetos são recursos da comunidade.

• Introdução oficial
• Experiência rápida
• Ramos populares
• Descrição da interface
• Controle de tom
• Tutorial de início
• Perguntas frequentes
• Verifique rapidamente erros

Introdução oficial

Chattts .-. 001 .-. Chattts.MP4

Experiência rápida

Site	tipo
Web original	Experiência original da versão da web
Forge web	Forge Forge Enhanced Edition Experience
Linux	Pacote de instalação do Python
Amostras	Exemplo de semente de tom
Clonagem	Experiência de clonagem de tom

Ramos populares

Aprimoramento funcional

projeto	Estrela	Destaques
jianchang512/chattts-ui		Fornece interface API que pode ser chamada em aplicativos de terceiros
6DRF21E/CHATTTS_COLAB		Forneça saída de streaming, suporte a geração de áudio longa e leitura de caracteres parcial
Lenml/Chattts-Forge		Fornece aprimoramento vocal e redução de ruído de fundo, com palavras rápidas adicionais disponíveis
CCMAHua/Chattts-aprimorou		Suporta o processamento em lote de arquivos e exportações de arquivos SRT
HKOON/CHATTTS-OpenVoice		Clonagem de som com openvoice

Extensão funcional

projeto	Estrela	Destaques
6drf21e/chattts_speaker		Tone Caractere marcação e avaliação de estabilidade
AIFSH/COMFYUI-CHATTTS		Versão confortyui, que pode ser introduzida como um nó de fluxo de trabalho
Materialshadow/Chattts-manager		Fornece um sistema de gerenciamento de tons e interface webui

Descrição da interface

Controle de texto

• 1. Texto de entrada : texto que precisa ser convertido, suporta chinês e inglês misto
• 2. Refinar o texto : se deve usar o processamento coloquial do texto
• 3. Semente de texto : configurar valores de sementes de texto, diferentes sementes correspondem a diferentes estilos coloquiais
• 4.?
• 5. Texto da saída : texto gerado após processamento coloquial

Controle de tom

• 6. Timbre : valor predefinido de semente
• 7. Semente de áudio : configure o valor da semente de tom, sementes diferentes correspondem a tons diferentes
• 8.?
• 9. Incorporação do alto -falante : código de tom, consulte o controle de tom para obter detalhes

Controle emocional

• 10. Temperatura : controla a volatilidade emocional de áudio, com um intervalo de 0-1.
• 11. TOP_P : Controla a correlação emocional do áudio, com um intervalo de 0,1-0,9.
• 12. TOP_K : Controla a similaridade emocional do áudio, com um intervalo de 1-20.

Controle do coeficiente

• 13. Coeficiente de DVAE : código do coeficiente de modelo
• 14. Recarregar : Recarregar os coeficientes do modelo

Controle de reprodução

• 15. jogo automático : se deve jogar automaticamente após a geração de áudio
• 16. Modo de fluxo : Se deve ativar a saída de streaming
• 17. Gere : clique para gerar arquivo de áudio
• 18. Áudio de saída : Resultados da geração de áudio
• 19. ↓ : Clique para baixar o arquivo de áudio
• 20. ▶ ️ : Clique para reproduzir o arquivo de áudio

Controle de amostra

• 21. Exemplo : clique para alternar a configuração de exemplo

Controle de tom

Após o .pt real, há uma diferença significativa no efeito de gerar spk_emb cada vez que o valor de semente de tom especificado é gerado e reutilizando spk_emb pré-gerado.

As sementes de tom foram inicialmente marcadas e a avaliação estável no projeto Chattts_Speaker, e o tom certo pode ser selecionado rapidamente por meio de exemplos.

Webui

Quando usado no webui oficial, você pode copiar diretamente o código de tom e substituir o valor em 9. Speaker Embedding para obter controle de tom.

Python

Quando usado em scripts Python, consulte o esquema de compactação na edição nº 07 para obter o controle de tom.

 spk = torch . load ( "asset/seed_1332_restored_emb.pt" , map_location = torch . device ( 'cpu' )). detach ()
spk_emb_str = compress_and_encode ( spk )

params_infer_code = ChatTTS . Chat . InferCodeParams (
    spk_emb = spk_emb_str ,  # add sampled speaker
    temperature = .0003 ,  # using custom temperature
    top_P = 0.7 ,  # top P decode
    top_K = 20 ,  # top K decode
)

Tutorial de início

Tutorial chinês

vídeo	Destaques
Irmão Tongji Zihao	Tutorial detalhado de implantação da entrada para avançado
Ztfs	Tutorial de implantação Mac M1
King - Bao Bao	Tutorial de implantação do Windows

Tutorial em inglês

vídeo	Destaques
Sam Witteveen	Introdução à versão em inglês

Perguntas frequentes

Após iterações recentes, os problemas no código do repositório de origem foram basicamente resolvidos. Se você encontrar problemas, é recomendável verificar a versão chinesa do documento de descrição oficial em detalhes primeiro.

O modelo não pode ser baixado

O projeto original precisa fazer o download do modelo correspondente do HuggingFace. Como alternativa, você pode baixar o modelo e a configuração do ModelCope e configurar o caminho local.

Importante

A biblioteca de modelos na torre mágica é mantida por voluntários e não garante que todos os modelos estejam atualizados.

1. Instale as dependências do ModelScope no terminal

pip install modelscope

2. Modifique o código em webui.py

 # 在开头导入依赖，并下载模型和配置
from modelscope import snapshot_download
model_dir = snapshot_download ( 'zlj2546/ChatTTS' )

# 第 118 行修改模型路径
ret = chat . load_models ( 'custom' , custom_path = model_dir )

Não pode correr em ide

Ao executar no IDE, o script não pode ser executado sem problemas devido ao caminho relativo do arquivo.

Recomenda -se consultar as instruções na inicialização rápida da documentação oficial e executá -la diretamente no terminal.

Verifique se você está no diretório raiz do projeto ao executar o seguinte comando.

1. Interface visual webui

python examples/web/webui.py

2. Interação da linha de comando

O áudio gerado será salvo para ./output_audio_n.mp3

python examples/cmd/run.py " Your text 1. " " Your text 2. "

Tag de tom leia

Esse problema ocorre porque o código oficial não cobre o tempo todo ao lidar com a pontuação chinesa, por exemplo ？ Símbolos como, … não são processados, resultando em um erro durante a geração do modelo.

Você pode excluir manualmente marcas de pontuação chinesa semelhantes ou modificar o código em ChatTTS/utils/infer_utils.py para adicionar pontos de pontuação ausentes ao dicionário de character_map nas linhas 103.

 character_map = {
    '…' : '' ,
    '—' : ',' ,
    '＿' : ',' ,
    '？' : ',' ,
    }

GPU não está disponível

A GPU requer pelo menos a memória de vídeo 4G, caso contrário, a CPU será usada.

Verifique rapidamente erros

1. load_models() got an unexpected keyword argument 'source'

Veja as perguntas frequentes para obter detalhes - o modelo não pode ser baixado

2. cannot import name 'CommitOperationAdd' from 'huggingface_hub'

Veja as perguntas frequentes para obter detalhes - o modelo não pode ser baixado

3. FileNotFoundError：［Erzno 2］ No such file or directory： 'C：\Users\xxx\.cache\huggingface\hub\models--2Noise--ChatTTS\snapshots

Veja as perguntas frequentes para obter detalhes - o modelo não pode ser baixado

4. local variable 'Normalizer' referenced before assignment

Você precisa instalar dependências pynini e WeTextProcessing após concluir a configuração do ambiente.

conda install -c conda-forge pynini=2.1.5 && pip install WeTextProcessing

5. download to Local path D：pythonlprojectChatTTSChatTTS failed.

Execute os scripts diretamente no IDE e um erro será relatado devido a problemas do caminho do arquivo.

6. ModuleNotFoundError : No module named'Cython'

O caminho de execução do Python não é encontrado, os dispositivos Windows precisam configurar o caminho do ambiente de acordo com o tutorial

Tendências do projeto