Pollyduble

Pollyduble

Doblo automático con clonación de voz y reconocimiento de voz
Hecho posible gracias a OpenVoice, Melotts, Whisper más rápido, VoiceFixer, Python-Audio-Separator y FFMPEG.

Este es un prototipo altamente experimental de un script que tiene como objetivo doblar automáticamente el audio en inglés a través de un archivo de video grabado originalmente en cualquier soporte de lenguaje. Teóricamente, con algunas modificaciones y diferentes modelos de OpenVoice, debería admitir cualquier lenguaje compatible con OpenVoice, sin embargo, la traducción tendría que ser manejada por algo que no sea Whisper

Características

• Clonación de voz y síntesis local de texto a voz
• Reconocimiento automático de voz
• Separación de audio
• Sincronización automática de líneas dobladas al discurso original
• Fijación de voz opcional para recuperar algunas frecuencias altas perdidas durante el proceso de clonación de voz
• Muxing el audio doblado y extraída la pista instrumental en el video

---

Los PR son bienvenidos, esto es principalmente una prueba de concepto. Algunas buenas ideas para la mejora incluyen:

• Diario del altavoz para separar el discurso de diferentes caracteres y asignar automáticamente las líneas dobladas correctas a los caracteres correctos
• Capacidad para cargar subtítulos personalizados en lugar de depender del reconocimiento automático de voz
• Una red neuronal de traducción (local es muy preferida) o una API para no confiar en las traducciones de mala calidad de Whisper

Requisitos previos

• Python 3.9
• FFMPEG, FFProbe y FFPlay instalados en su sistema y en ruta
• Windows (solo probado en Windows)
• Probablemente se requiere una GPU NVIDIA moderna con soporte CUDA
• Miniconda o Anaconda (opcional, pero recomendado)

Instalación

0. Instale ffmpeg, ffprobe y ffplay en su sistema y asegúrese de que estén en camino. Puedes descargarlos desde aquí.

1. Haga un nuevo directorio y clone este repositorio:

git clone https://github.com/igerman00/Pollyduble
cd Pollyduble

2. Crea un nuevo entorno de conda:

conda create -n dubbing python=3.9

3. Active el entorno de conda:

conda activate dubbing

4. Clon el repositorio de OpenVoice

git clone https://github.com/myshell-ai/OpenVoice

Asegúrese de que el repositorio de OpenVoice esté en el mismo directorio que este repositorio, debe llamarse "OpenVoice".

5. Instalar OpenVoice:

 cd OpenVoice
pip install -e .
pip install git+https://github.com/myshell-ai/MeloTTS.git
python -m unidic download

6. Instale torch con soporte de GPU (el parámetro índice-URL debe ser opcional para ningún soporte de GPU):

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

7. Instale las otras dependencias:

 cd .. # Go back to the root directory of the repo
pip install -r requirements-win-cu118.txt

Uso

1. Obtenga un archivo de video y colóquelo en cualquier lugar de su computadora, para este ejemplo asumiremos que está en el mismo directorio que nuestro script demo.py , y se llama video.mp4 .
2. Ejecute el guión:

python demo.py -i video.mp4 -s -m

La salida se almacenará en el directorio Pollyduble/output de forma predeterminada. Contendrá varios archivos que incluyen el video doblado, el audio separado, el audio doblado y la muestra de voz. Sobre todo, debería ser un clic.

Las opciones incluyen:

• -i o --input para especificar el archivo de video de entrada
• -o o --output para especificar el directorio de salida (el valor predeterminado es Pollyduble/output )
• -v o --voice para especificar una muestra personalizada para la clonación de voz. Si no se especifica, uno se creará a partir de los primeros 15 segundos del video
• -s o --separate para habilitar la separación de audio, es decir, extrayendo la música de fondo y el discurso del video por separado
• -m o --mux para habilitar la muxing el audio separado nuevamente en el video con el discurso doblado
• -f o --fix para habilitar la fijación de voz, es decir, mejorando la calidad del discurso doblado.
  ^ Experimental y en realidad no suena tan bien la mayor parte del tiempo.
• --help para mostrar el mensaje de ayuda

Licencia

Este proyecto tiene licencia bajo la licencia MIT; consulte el archivo de licencia para obtener más detalles.