ForwardTacotron NVDA

ForwardTacotron e Hifi-Gan Support para NVDA Screen Reader

Nota: Este complemento e a documentação ainda estão em construção. Suas contribuições são bem -vindas!

introdução

Lembre -se de que o ForwardTacotron é um modelo de síntese de fala em Pytorch que usa um preditor de duração para alinhar o texto e gerar espectrogramas MEL. O modelo tem vantagens, como robustez, velocidade, tom e manipulação de energia e eficiência.

Portanto, este plug -in é uma tentativa de implementar o suporte ao ForwardTacotron no leitor de tela de código aberto da NVDA via cliente/servidor, porque as bibliotecas usadas como tocha não são possíveis para incluir diretamente no NVDA.

Este é um trabalho em andamento e, portanto, ainda há muito o que fazer.

Enquanto isso, você pode ouvir o progresso que foi feito até agora.

amostras de áudio

Linguagem	Voz	Amostra
Inglês	LJSpeech (com vocoder griffinlim)
Inglês	LJSpeech (com vocoder hifi-gan)
Espanhol	Conjunto de dados ALD (com vocoder hifi-gan)
Espanhol	ODAL (com vocoder hifi-gan, modelo universal)

pendência:

• Uma maneira de compilar e integrar o servidor ao complemento.
  • Quando isso acontecer, permita que o servidor abra quando o sintetizador for carregado. Depois que o servidor carregar, podemos ligar para tornar o sintetizador de fala pronto para uso.
  • Duas versões podem ser feitas para o complemento, com suporte à CPU e uma com suporte à GPU, pois aparentemente a síntese é gerada em tempo real em uma GPU. Enquanto isso, podemos notar desacelerações na CPU.
• Suporte de mudança de voz e energia nas opções de anel de sintetizador.
• No momento, o complemento usa o httplib2 para se comunicar com o servidor, mas eu poderia procurar outros métodos e, se necessário, reescrever uma parte do servidor.
• Adicione suporte para carregar vozes diferentes que podem ser detectadas dentro de uma pasta "Voice_models".
  • Com isso, um suporte para baixar modelos treinados pode ser adicionado. Temos um modelo LJSpeech em inglês, outro em alemão e dois em espanhol.
• Para modelos de vários alto-falantes mais recentes, ele pode ler as configurações para verificar e, se assim for, pode escolher a voz das opções de anel de sintetizador com primeiro consulte os nomes dos alto-falantes no modelo.