whispering ui

Whispering Tiger UI (traducir/transcribir en vivo)

Whispering Tiger UI es un nativo-UI que se puede utilizar para controlar la aplicación de tigre susurrante .

Whispering Tiger es una herramienta gratuita y de código abierto que puede escuchar/mirar a cualquier transmisión de audio o imagen en el juego en su máquina e imprime la transcripción o traducción a un navegador web utilizando WebSockets o OSC (los ejemplos son superpuestos o vrchat ).

Contenido

• Características
• Descargar
• Tutoriales
• Instalación
• Configuración
  • Configuración de complementos
  • Ejemplo de configuración del complemento Voicevox (TTS japonés)
  • Configuración de audio específica (TTS a MIC, Traducción de audio del juego, etc.)
  • Mejoras de configuración y velocidad en tiempo real
• Características avanzadas
• Ayuda adicional (Discord)
• Capturas de pantalla

Características

• Native-UI para Windows (y posiblemente Linux en el futuro)
• Fácil de usar tanto para principiantes como para usuarios avanzados
• Acceso a todas las características de tigre susurrantes , que incluyen:
  • Transcripción / traducción de transmisiones de audio
  • Traducción de textos
  • Texto a voz
  • Reconocimiento y traducción de imágenes en el juego
  • Mostrar los resultados en un navegador web o VRCHAT, utilizando WebSockets u OSC
• Soporte de dispositivo de audio de bucleback para capturar audio de PC sin herramientas adicionales
• Guardar y cargar configuraciones
• Vista previa si sus dispositivos de audio seleccionados están funcionando
• Soporte de complementos para características adicionales (busque una lista de complementos aquí)
  • Complemento de subtítulos en tiempo real
  • Muchos complementos Text2Speech
  • Complemento de predicción de emociones
  • Actualmente tocando el complemento de la canción
  • Complemento de exportación de subtítulos
  • Complemento de conversión de voz basado en la recuperación (RVC)
  • Complemento de modelos de idiomas grandes
  • y más ...
• Auto-actualización a la última versión de Whispering Tiger .

Descargar

Descargue la última versión de la página de lanzamientos.

Tutoriales

• Video tutorial " Whispering Tiger - Traducción y transcripción en vivo ":

  

Instalación

1. Después de descargar la última versión de los [ Lanzamientos ], extravelo a una carpeta de su elección en una unidad con suficiente espacio libre.

   (No lo ejecute directamente desde el archivo zip, no se ejecute desde la unidad externa).

2. Instale CUDA para la aceleración de GPU (opcional pero recomendado para las GPU NVIDIA).

3. Ejecute el archivo Whispering tiger.exe .

4. Déjelo descargar la última versión de Whispering Tiger . (Solicitará descargar la plataforma).

5. Una vez finalizado la descarga, puede crear un perfil y comenzar a usar la aplicación Whispering Tiger .

   • En el primer inicio, comenzará a descargar los modelos AI que pueden llevar un tiempo dependiendo del tamaño de su modelo seleccionado. (Actualmente no muestra el estado de las descargas del modelo)

Configuración

1. Cree un perfil ingresando un nombre y haciendo clic en el botón Nuevo .

2. Websocket IP + Port se puede mantener en los valores predeterminados "127.0.0.1" y "5000".

   • Estos solo son útiles si desea ejecutar múltiples instancias o hacer que la plataforma de backend se ejecute en una PC separada.
   • Si desea ejecutar varias instancias, debe cambiar el puerto para cada instancia.

3. Seleccione sus dispositivos de entrada y salida de audio. Puede probarlos hablando en su micrófono y haciendo clic en el botón de prueba.

   • Debería ver que la barra de entrada de audio se mueve cuando hable. Y escuche un Audio de prueba y vea la barra de salida de audio se mueva cuando haga clic en el botón de prueba .

     

   • Consulte también Configuración de audio (TTS a MIC, Traducción de audio del juego, etc.) para obtener más información sobre configuraciones de audio específicas.

     (Como cuando desea traducir el audio de juegos, videos o transmisiones que se reproducen en su PC en lugar de usar un micrófono como entrada) .

4. (Opcional) Use Push to Talk Haga clic en el campo y presione las teclas que desea usar para Push to Talk

   (Presione cada tecla por separado para configurar. Al ejecutar el perfil, se requerirá que todas las teclas se presionen al mismo tiempo cuando use Push to Talk)

   • Para deshabilitar el autodetecto del habla para usar solo el impulso para hablar, establecer Speech volume Level y Speech pause detection a 0.

5. Esté atento al consumo de memoria estimado en la esquina inferior derecha.

   Es solo una estimación aproximada y puede variar, pero debería darle una idea de cuánto (v) RAM necesita para sus modelos de IA seleccionados. y opciones.

   

6. Seleccione el dispositivo AI para la traducción de voz a texto y texto de acuerdo con su hardware.

   • CUDA ( requiere una GPU NVIDIA ) o CPU.
   • CUDA cargará el AI en V-RAM y será más rápido que la CPU.

7. Seleccione el tamaño del habla a texto y el tamaño de la traducción del texto .

   • Cuanto mayor sea el tamaño, más preciso pero también más lenta será la transcripción.
   • Cuanto mayor sea el tamaño, más (v-) RAM usará.
   • Nota: El modelo AI del tamaño y la precisión seleccionados se descargará automáticamente cuando inicie la aplicación por primera vez.

8. Seleccione la precisión del habla a texto y la precisión de traducción de texto

   • Cuanto mayor sea la precisión, más precisa y más (V) se usa. ( Sin embargo, las diferencias de precisión son casi insignificantes ).
   • Las GPU modernas tienen una mejor aceleración para float16 .
   • La única CPU es compatible con la precisión float32 , int16 o int8 .

Nota:

• Puede jugar con los valores hasta que obtenga los resultados deseados.
• Si algo no funciona, verifique el registro en la pestaña avanzada . Y verifique cualquier error.
• Habilite el registro de escritura en el archivo para guardar el registro en un archivo.

Configuración de complementos

• Instale complementos utilizando la interfaz de usuario directamente, o ..
• Instale complementos manualmente.
  • Seleccione el complemento deseado de la lista de complementos aquí.
  • Descargue el archivo *.py y colóquelo en la carpeta de complementos .
  • Reiniciar la aplicación.
  • El complemento ahora debería estar disponible en la pestaña Plugins .

Nota:
La mayoría de los complementos tienen configuraciones específicas que se pueden configurar en los cuadros de texto del complemento en la pestaña Plugins .

Consulte también la configuración de ejemplo de complemento VoiceVox (TTS japonés) como ejemplo de cómo configurar el complemento VoiceVox.

Configuración de uso específica

• Configuración de audio (TTS a MIC, Traducción de audio del juego, etc.)
• Mejoras de configuración y velocidad en tiempo real

Características avanzadas

• Escala de interfaz de usuario más grande (modo VR)

Ayuda adicional

Para obtener ayuda adicional, puede unirse

• Susurrando tigre en discord

Capturas de pantalla