Pollyduble

Pollyduble

Dublagem automática com clonagem de voz e reconhecimento de fala
Tornado possível graças a OpenVoice, Melotts, Whisper mais rápido, botefixer, Python-Audio-Separator e FFMPEG.

Este é um protótipo altamente experimental de um script que visa duplicar automaticamente o áudio em inglês sobre um arquivo de vídeo originalmente gravado em qualquer sussurro de idioma. Teoricamente, com algumas modificações e diferentes modelos OpenVoice, deve suportar qualquer idioma suportado pelo OpenVoice, no entanto, a tradução teria que ser tratada por algo que não seja sussurro

Características

• Clonagem de voz e síntese local de texto em fala
• Reconhecimento automático de fala
• Separação de áudio
• Sincronização automática de linhas dubladas ao discurso original
• Fixação de voz opcional para trazer de volta algumas frequências altas perdidas durante o processo de clonagem de voz
• Muxing o áudio chamado e a trilha instrumental extraída de volta ao vídeo

---

Os PRs são bem-vindos, isso é principalmente apenas uma prova de conceito. Algumas boas idéias de melhoria incluem:

• Diarização do alto -falante para separar o discurso de diferentes caracteres e atribuir automaticamente as linhas dubladas corretas aos caracteres corretos
• Capacidade de carregar legendas personalizadas em vez de confiar no reconhecimento automático de fala
• Uma rede neural de tradução (local é altamente preferida) ou API para não confiar nas traduções de má qualidade do Whisper

Pré-requisitos

• Python 3.9
• FFMPEG, FFProbe e FFPLAY instalados no seu sistema e no caminho
• Windows (testado apenas no Windows)
• Uma GPU NVIDIA moderna com suporte CUDA provavelmente é necessária
• Miniconda ou Anaconda (opcional, mas recomendado)

Instalação

0. Instale o FFMPEG, o FFProbe e o FFPLAY no seu sistema e verifique se eles estão no caminho. Você pode baixá -los aqui.

1. Faça um novo diretório e clone este repositório:

git clone https://github.com/igerman00/Pollyduble
cd Pollyduble

2. Crie um novo ambiente de conda:

conda create -n dubbing python=3.9

3. Ative o ambiente do CONDA:

conda activate dubbing

4. Clone o repositório OpenVoice

git clone https://github.com/myshell-ai/OpenVoice

Verifique se o repositório do OpenVoice está no mesmo diretório que este repositório, ele deve ser nomeado "OpenVoice".

5. Instale o OpenVoice:

 cd OpenVoice
pip install -e .
pip install git+https://github.com/myshell-ai/MeloTTS.git
python -m unidic download

6. Instale torch com suporte à GPU (o parâmetro Index-URL deve ser opcional para nenhum suporte à GPU):

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

7. Instale as outras dependências:

 cd .. # Go back to the root directory of the repo
pip install -r requirements-win-cu118.txt

Uso

1. Obtenha um arquivo de vídeo e coloque -o em qualquer lugar do seu computador; para este exemplo, assumiremos que ele está no mesmo diretório que nosso script demo.py , e ele é chamado de video.mp4 .
2. Execute o script:

python demo.py -i video.mp4 -s -m

A saída será armazenada no diretório de Pollyduble/output por padrão. Ele conterá vários arquivos, incluindo o vídeo dublado, o áudio separado, o áudio dublado e a amostra de voz. Principalmente, deve ser um clique.

As opções incluem:

• -i ou --input para especificar o arquivo de vídeo de entrada
• -o ou --output para especificar o diretório de saída (o padrão é Pollyduble/output )
• -v ou --voice para especificar uma amostra personalizada para a clonagem de voz. Se não for especificado, um será criado a partir dos primeiros 15 segundos do vídeo
• -s ou --separate para ativar a separação de áudio, ou seja, extraindo a música de fundo e o discurso do vídeo separadamente
• -m ou --mux para ativar o muxing o áudio separado de volta ao vídeo com o discurso chamado
• -f ou --fix para permitir a fixação de voz, ou seja, melhorando a qualidade do discurso chamado.
  ^ Experimental e na verdade não parece tão bom na maioria das vezes.
• --help para exibir a mensagem de ajuda

Licença

Este projeto está licenciado sob a licença do MIT - consulte o arquivo de licença para obter detalhes.