CogNative

Cognativo

Síntesis de voz traducida

Clonar un discurso de voz y salida en otro idioma con la voz original.

Instalación

1. Instale Python:

Se recomienda Python 3.7. Se requiere Python 3.7, debido a que la versión de TensorFlow se utiliza en este proyecto.

2. Crear entorno virtual (opcional):

python3 -m venv pyvenv

Active el entorno virtual: Windows: ./pyvenv/Scripts/activate macOS/Linux: source pyvenv/bin/activate

Desactivar el entorno virtual: deactivate

Nota: Su entorno virtual de Python puede causar problemas al ejecutar la interfaz de usuario.

3. Instale ffmpeg.

Una vez instalado, extraiga la carpeta y agregue <ffmpeg folder path>/bin a la ruta.

4. Instale Pytorch:

1. Pytorch Build: Stable (1.11.0).
2. Su sistema operativo: elija el sistema operativo que su entorno se ejecuta cognativo en (Windows o Linux recomendado).
3. Paquete: elija qué instalador de paquetes está utilizando (recomendado PIP).
4. Idioma: Python.
5. Plataforma de cómputo: CUDA 11.3 Recomendado. Si no tiene una CPU de selección GPU.

5. Instale paquetes de pitón requeridos:

pip3 install -r requirements.txt

6. Instale modelos.

Una vez descargado, agregue los modelos (*.pt) a CogNative/CogNative/models/RTVC/saved_models/default

La carpeta taco_preTraine (incluida la carpeta en sí) debe descargarse y agregar a CogNative/CogNative/models/RTVCSwedish/synthesizer/saved_models/swedish

7. Cree credenciales en la nube de Google:

1. Siga los pasos para configurar las credenciales de Google Cloud.
2. Agregue las credenciales de Google a credentials.json en el directorio de nivel superior. Actualmente hay un archivo llamado credentials.json.template , su credentials.json debe coincidir con los pares de clave/valor que se muestran allí.

Uso

Comience desde el directorio de la raíz cognativa.

Guía

Para lanzar GUI, ejecute python -m CogNative.testUI.UI

CLI

Cualquier bandera necesaria que no se especifique hará que se genere un aviso que debe responderse antes de continuar. Siguen ejemplos.

1. Mensaje de ayuda para mostrar: python -m CogNative.main -help

 CogNative CLI FLags:
    -sampleAudio <PATH>: audio file of voice to clone
    -synType <text, audio>: synthesis mode either given input text or by transcribing audio file
    [-dialogueAudio] <PATH>: for audio synType, audio file of dialogue to speak
    [-dialogueText] <PATH>: for text synType, text string of dialogue to speak
    -out <PATH>: output audio file path
    -useExistingEmbed <y/yes/n/no>: Uses saved embedding of previously used voice samples if enabled and present.

2. Genere la voz clonada a partir de la voz y la entrada de texto de muestra: python -m CogNative.main -sampleAudio CogNative/examples/MatthewM66.wav -synType text -dialogueText "The turbo-encabulator has now reached a high level of development, and it's being successfully used in the operation of novertrunnions." -out cmdExampleText.wav -useExistingEmbed y

 Loaded encoder "english_encoder.pt" trained to step 1564501
Synthesizer using device: cuda
Building Wave-RNN
Trainable Parameters: 4.481M
Loading model weights at CogNativemodelsRTVCsaved_modelsdefaultvocoder.pt
Synthesizing...
Clone output to cmdExampleText.wav

3. Genere la voz clonada a partir de la muestra de voz y el archivo de entrada de audio: python -m CogNative.main -sampleAudio CogNativeexamplesMatthewM66.wav -synType audio -dialogueAudio CogNativeexamplesBillMaher22.wav -out cmdExampleAudio.wav -useExistingEmbed n

 Loaded encoder "english_encoder.pt" trained to step 1564501
Synthesizer using device: cuda
Building Wave-RNN
Trainable Parameters: 4.481M
Loading model weights at CogNativemodelsRTVCsaved_modelsdefaultvocoder.pt
Loading requested file...
Synthesizing...
Clone output to cmdExampleAudio.wav

Scripts de autotranslate

Este guión traducirá audio de un idioma compatible al inglés. Para usar el script de autotranslate en Windows, arrastre y suelte un archivo de audio en el script o coloque un acceso directo al script en %AppData%MicrosoftWindowsSendTo y use la función de menú contextual "Enviar a" en un archivo de audio para traducir. En ambos casos, un nuevo archivo .wav con el nombre de archivo orginal seguido de "_ + lenguaje de destino" se colocará en la misma carpeta. Para otras plataformas, se deben utilizar las mismas banderas CLI, pero los detalles sobre la integración del menú contextual variarán según los paquetes instalados.

Contribuyendo al proyecto

• Crea tu propia rama git branch yourname-feature-name
• Solicite la solicitud con una buena explicación de su rama
• Incluir problemas que su solicitud de extracción está abordando
• Squash y fusionarse, siempre.

Guía de estilo Python

Esta guía de estilo es importante para asegurarse de que todos los estilo coincidan en todo el proyecto. Para peinar su código, use el Styler Black Python.

Archivo único: black <python-file-name> Todos los archivos: black .

Crédito a la clonación de voz en tiempo real

Este repositorio de GitHub sirve como base de nuestro módulo de clonación de voz.

Clonación en tiempo real

Vea la licencia aquí.

Crédito a sueco en tiempo real

Este repositorio de GitHub entrenó al sintetizador sueco.

Sueco en tiempo real

Miembros del equipo

• Andrew Fennell
• Austin Currington
• Xingjian Hao
• Connor tisdel
• Jacob Smith
• Aref sadeghi