ForwardTacotron NVDA

Support ForwardTacotron et Hifi-Agan pour le lecteur d'écran NVDA

Remarque: Ce module complémentaire ainsi que la documentation sont toujours en construction. Vos contributions sont les bienvenues!

introduction

N'oubliez pas que ForwardTacotron est un modèle de synthèse de la parole dans Pytorch qui utilise un prédicteur de durée pour aligner le texte et générer des spectrogrammes MEL. Le modèle présente des avantages, tels que la robustesse, la vitesse, la pitch et la manipulation d'énergie et l'efficacité.

Ainsi, ce plugin est une tentative d'implémentation de la prise en charge de ForwardTacotron dans le lecteur d'écran open source de NVDA via le client / serveur, car les bibliothèques utilisées comme torch ne sont pas possibles à inclure directement dans NVDA.

Il s'agit d'un travail en cours et donc il y a encore beaucoup à faire.

En attendant, vous pouvez écouter les progrès réalisés jusqu'à présent.

échantillons audio

Langue	Voix	Échantillon
Anglais	LJSpeech (avec Griffinlim Vocoder)
Anglais	LJSpeech (avec Hifi-Goner)
Espagnol	Ensemble de données Ald (avec Hifi-GoCoder)
Espagnol	Odal (avec Hifi-gan Vocoder, modèle universel)

faire:

• Un moyen de compiler et d'intégrer le serveur au module complémentaire.
  • Lorsque cela se produit, permettez au serveur d'ouvrir lorsque le synthé est chargé. Une fois que le serveur se charge, nous pouvons appeler la vérification pour préparer le synthétiseur de la parole pour l'usage.
  • Deux versions pourraient être faites pour le module complémentaire, avec le support CPU et un avec le support GPU, car apparemment la synthèse est générée en temps réel sur un GPU. En attendant, nous pouvons remarquer des ralentissements dans le CPU.
• Support de changement de voix et d'énergie dans les options de cycle de synthé.
• À l'heure actuelle, le module complémentaire utilise HTTPLIB2 pour communiquer avec le serveur, mais je pourrais rechercher d'autres méthodes et si nécessaire, réécrivez une partie du serveur.
• Ajoutez une prise en charge pour le chargement de différentes voix qui pourraient être détectées dans un dossier "Voice_Models".
  • Avec cela, un support pour le téléchargement de modèles formés pourrait être ajouté. Nous avons un modèle LJSpeech en anglais, un autre en allemand et deux en espagnol.
• Pour les nouveaux modèles multi-orages, il peut lire les paramètres à vérifier, et si c'est le cas, il peut choisir la voix parmi les options de bague de synthé avec d'abord les noms de haut-parleur du modèle.