CogNative

Cognativo

Síntese de voz traduzida

Clone uma voz e saída de discurso em outro idioma com a voz original.

Instalação

1. Instale o Python:

O Python 3.7 é recomendado. O Python 3.7 é necessário , devido à versão do TensorFlow sendo usada neste projeto.

2. Crie um ambiente virtual (opcional):

python3 -m venv pyvenv

Ativar ambiente virtual: Windows: ./pyvenv/Scripts/activate macOS/linux: source pyvenv/bin/activate

Desativando o ambiente virtual: deactivate

Nota: Seu ambiente virtual em Python pode causar problemas ao executar a interface do usuário.

3. Instale o ffmpeg.

Depois de instalado, extraia a pasta e adicione <ffmpeg folder path>/bin ao caminho.

4. Instale Pytorch:

1. Pytorch Build: estável (1.11.0).
2. Seu sistema operacional: Escolha o sistema operacional seu ambiente está funcionando (Windows ou Linux recomendado).
3. Pacote: Escolha qual instalador de pacotes você está usando (PIP recomendado).
4. Idioma: Python.
5. Plataforma de computação: CUDA 11.3 recomendado. Se você não possui uma CPU da GPU.

5. Instale os pacotes Python necessários:

pip3 install -r requirements.txt

6. Instale os modelos.

Depois de baixado, adicione os modelos (*.pt) ao CogNative/CogNative/models/RTVC/saved_models/default

A pasta Taco_pretriled (incluindo a própria pasta) precisa ser baixada e adicionada ao CogNative/CogNative/models/RTVCSwedish/synthesizer/saved_models/swedish

7. Crie credenciais do Google Cloud:

1. Siga as etapas para configurar credenciais do Google Cloud.
2. Adicione as credenciais do Google às credentials.json no diretório de nível superior. Atualmente, existe um arquivo chamado credentials.json.template , suas credentials.json devem corresponder aos pares de chave/valor mostrados lá.

Uso

Comece a partir do diretório raiz cognativo.

GUI

Para lançar a GUI, execute python -m CogNative.testUI.UI

CLI

Quaisquer sinalizadores necessários que não sejam especificados causarão um aviso a ser gerado que deve ser respondido antes de continuar. Exemplos seguem.

1. Exibir mensagem de ajuda: python -m CogNative.main -help

 CogNative CLI FLags:
    -sampleAudio <PATH>: audio file of voice to clone
    -synType <text, audio>: synthesis mode either given input text or by transcribing audio file
    [-dialogueAudio] <PATH>: for audio synType, audio file of dialogue to speak
    [-dialogueText] <PATH>: for text synType, text string of dialogue to speak
    -out <PATH>: output audio file path
    -useExistingEmbed <y/yes/n/no>: Uses saved embedding of previously used voice samples if enabled and present.

2. Gere a voz clonada a partir da amostra de entrada e texto: python -m CogNative.main -sampleAudio CogNative/examples/MatthewM66.wav -synType text -dialogueText "The turbo-encabulator has now reached a high level of development, and it's being successfully used in the operation of novertrunnions." -out cmdExampleText.wav -useExistingEmbed y

 Loaded encoder "english_encoder.pt" trained to step 1564501
Synthesizer using device: cuda
Building Wave-RNN
Trainable Parameters: 4.481M
Loading model weights at CogNativemodelsRTVCsaved_modelsdefaultvocoder.pt
Synthesizing...
Clone output to cmdExampleText.wav

3. Gere a voz clonada a partir do arquivo de entrada de voz e áudio: python -m CogNative.main -sampleAudio CogNativeexamplesMatthewM66.wav -synType audio -dialogueAudio CogNativeexamplesBillMaher22.wav -out cmdExampleAudio.wav -useExistingEmbed n

 Loaded encoder "english_encoder.pt" trained to step 1564501
Synthesizer using device: cuda
Building Wave-RNN
Trainable Parameters: 4.481M
Loading model weights at CogNativemodelsRTVCsaved_modelsdefaultvocoder.pt
Loading requested file...
Synthesizing...
Clone output to cmdExampleAudio.wav

Scripts autotranslate

Este script traduzirá áudio de um idioma suportado para o inglês. Para usar o script autotranslate no Windows, arraste e solte um arquivo de áudio no script ou coloque um atalho no script em %AppData%MicrosoftWindowsSendTo e use a função de menu "Enviar para" em um arquivo de áudio para ser traduzido. Em ambos os casos, um novo arquivo .wav com o nome do arquivo orginal seguido de "_ + linguagem de destino" será colocado na mesma pasta. Para outras plataformas, os mesmos sinalizadores da CLI devem ser usados, mas os detalhes da integração do menu de contexto variam de acordo com quais pacotes estão instalados.

Contribuindo para o projeto

• Crie sua própria filial git branch yourname-feature-name
• Puxe o pedido com uma boa explicação do seu ramo
• Inclua questões que sua solicitação de tração está abordando
• Squash e mesclagem, sempre.

Python Styleguide

Este guia de estilo é importante para garantir que todos os estilos correspondam ao longo do projeto. Para estilizar seu código, use o Black Python Styler.

Arquivo único: black <python-file-name> Todos os arquivos: black .

Crédito para clonagem de voz em tempo real

Este repositório do GitHub serve como base do nosso módulo de clonagem de voz.

Cloneração em tempo real

Veja a licença aqui.

Crédito a sueco de clonagem de voz em tempo real

Este repositório do GitHub treinou o sintetizador sueco.

Sueco-clonagem em tempo real

Membros da equipe

• Andrew Fennell
• Austin Currington
• Xingjian Hao
• Connor Tisdel
• Jacob Smith
• Aref Sadeghi