whispering ui

Chuchotant Tiger UI (en direct traduire / transcrire)

Whispering Tiger UI est un UI natif qui peut être utilisé pour contrôler l'application Tiger chuchotée .

Whispering Tiger est un outil gratuit et open-source qui peut écouter / regarder n'importe quel flux audio ou image en jeu sur votre machine et imprime la transcription ou la traduction en un navigateur Web à l'aide de lignes Web ou de contre OSC (les exemples sont en streaming-overs-owray ou VRCHAT ).

Contenu

• Caractéristiques
• Télécharger
• Tutoriels
• Installation
• Installation
  • Configuration des plugins
  • Exemple de configuration de Plugin VoiceVox (TTS japonais)
  • Configuration audio spécifique (TTS au micro, traduction audio du jeu, etc.)
  • Configuration en temps réel et améliorations de la vitesse
• Fonctionnalités avancées
• Aide supplémentaire (discorde)
• Captures d'écran

Caractéristiques

• Natif-UI pour Windows (et peut-être Linux à l'avenir)
• Facile à utiliser pour les débutants et les utilisateurs avancés
• Accès à toutes les caractéristiques de Tiger chuchotées , qui comprend:
  • Transcription / traduction des flux audio
  • Traduction des textes
  • Texte vocal
  • Reconnaissance et traduction des images en jeu
  • Affichage des résultats dans un navigateur Web ou un VRChat, en utilisant des basket ou OSC
• Prise en charge de l'appareil audio en boucle pour capturer l'audio PC sans outils supplémentaires
• Enregistrer et charger des configurations
• Aperçu si vos appareils audio sélectionnés fonctionnent
• Prise en charge du plugin pour des fonctionnalités supplémentaires (trouver une liste de plugins ici)
  • Plugin de sous-titres en temps réel
  • De nombreux plugins Text2Speech
  • Plugin de prédiction d'émotion
  • Jouant actuellement le plugin de chanson
  • Plugin d'exportation de sous-titre
  • Plugin de conversion vocale basée sur la récupération (RVC)
  • Plugin de modèles de grande langue
  • Et plus ...
• Auto-dater à la dernière version de Whispering Tiger .

Télécharger

Téléchargez la dernière version de la page des versions.

Tutoriels

• Tutoriel vidéo " Whispering Tiger - Traduction en direct et transcription ":

  

Installation

1. Après avoir téléchargé la dernière version à partir des [ sorties ], extrayez-la dans un dossier de votre choix sur un lecteur avec suffisamment d'espace libre.

   (Ne l'exécutez pas directement à partir du fichier zip, n'exécutez pas à partir du lecteur externe.)

2. Installez CUDA pour l'accélération du GPU (facultatif mais recommandé pour les GPU NVIDIA).

3. Exécutez le fichier Tiger.exe chuchoté .

4. Laissez-le télécharger la dernière version de Whisperring Tiger . (Il demandera à télécharger la plate-forme.)

5. Une fois le téléchargement terminé, vous pouvez créer un profil et commencer à utiliser l'application Tiger Whispering .

   • Au premier départ, il commencera à télécharger les modèles d'IA qui peuvent prendre un certain temps en fonction de la taille de votre modèle sélectionné. (Actuellement, il ne montre pas le statut des téléchargements du modèle)

Installation

1. Créez un profil en entrant un nom et en cliquant sur le nouveau bouton.

2. Websocket IP + Port peut être conservé aux valeurs par défaut "127.0.0.1" et "5000".

   • Ceux-ci ne sont utiles que si vous souhaitez exécuter plusieurs instances ou faire fonctionner la plate-forme backend sur un PC séparé.
   • Si vous souhaitez exécuter plusieurs instances, vous devez modifier le port pour chaque instance.

3. Sélectionnez vos périphériques d'entrée et de sortie audio. Vous pouvez les tester en parlant dans votre microphone et en cliquant sur le bouton Test.

   • Vous devriez voir la barre d'entrée audio se déplacer lorsque vous parlez. Et écoutez un test-audio et voyez la barre de sortie audio bouger lorsque vous cliquez sur le bouton Test .

     

   • Voir aussi Configuration audio (TTS TO MIC, traduction audio de jeu, etc.) pour plus d'informations sur des configurations audio spécifiques.

     (Comme lorsque vous souhaitez traduire l'audio de jeux, vidéos ou flux qui sont joués sur votre PC au lieu d'utiliser un microphone comme entrée.) .

4. (Facultatif) Utiliser Push to Talk Cliquez sur le champ et appuyez sur les touches que vous souhaitez utiliser pour Push to Talk

   (Appuyez sur chaque touche séparément pour configurer.

   • Pour désactiver l'autodétection de la parole pour utiliser uniquement Push to Talk, définissez Speech volume Level et Speech pause detection à 0.

5. Gardez un œil sur la consommation de mémoire estimée dans le coin inférieur droit.

   Ce n'est qu'une estimation approximative et peut varier, mais cela devrait vous donner une idée de la quantité de RAM (V-) dont vous avez besoin pour vos modèles d'IA sélectionnés. et les options.

   

6. Sélectionnez le périphérique AI pour la traduction de la parole et du texte en fonction de votre matériel.

   • CUDA ( nécessite un GPU NVIDIA ) ou CPU.
   • CUDA chargera l'IA en V-Ram et sera plus rapide que le CPU.

7. Sélectionnez la taille de la parole et la taille de la traduction du texte .

   • Plus la taille est grande, plus la transcription sera précise mais aussi lente.
   • Plus la taille est grande, plus elle utilisera (V-) qu'elle utilisera.
   • Remarque: Le modèle AI de la taille et de la précision sélectionnés sera téléchargé automatiquement lorsque vous démarrez l'application pour la première fois.

8. Sélectionnez la précision de la précision et de la traduction du texte de la parole

   • Plus la précision est élevée, plus la RAM est précise et plus utilisée. ( Cependant les différences de précision sont presque négligeables ).
   • Les GPU modernes ont une meilleure accélération pour float16 .
   • Le seul support du CPU float32 , int16 ou int8 .

Note:

• Vous pouvez jouer avec les valeurs jusqu'à ce que vous obteniez les résultats souhaités.
• Si quelque chose ne fonctionne pas, vérifiez le journal sous l'onglet avancé . Et vérifiez toute erreur.
• Activer le journal d'écriture dans le fichier pour enregistrer le journal dans un fichier.

Configuration des plugins

• Installez les plugins à l'aide de l'interface utilisateur directement, ou ..
• Installez les plugins manuellement.
  • Sélectionnez ici le plugin souhaité dans la liste des plugins.
  • Téléchargez le fichier *.py et placez-le dans le dossier des plugins .
  • Redémarrer l'application.
  • Le plugin devrait désormais être disponible dans l'onglet Plugins .

Note:
La plupart des plugins ont des paramètres spécifiques qui peuvent être configurés dans les zones de texte du plugin dans l'onglet Plugins .

Voir également la configuration de l'exemple de Plugin VoiceVox (TTS japonais) comme exemple comment configurer le plugin VoiceVox.

Configuration d'utilisation spécifique

• Configuration audio (TTS au micro, traduction audio du jeu, etc.)
• Configuration en temps réel et améliorations de la vitesse

Fonctionnalités avancées

• Échelle d'interface utilisateur plus grande (mode VR)

Aide supplémentaire

Pour une aide supplémentaire, vous pouvez rejoindre

• Chuchotant le tigre sur la discorde

Captures d'écran