youtube auto dub

YouTube Auto-Dub

Este repositorio sirve como punto de partida para desarrollar un backend de Fastapi para doblar videos de YouTube capturando e inferiendo el timbre de voz usando OpenVoice.

Características del núcleo

• Reconocimiento de Voice Timbre : utiliza la tecnología OpenVoice para reconocer con precisión el timbre de voz del video original de YouTube.
• Síntesis de texto a voz : descargas y procesos subtítulos, traducirlos y convertirlos en habla, coincidir con el timbre de voz original lo más cerca posible.
• Implementación flexible : admite la implementación a través de acciones de GitHub y compilación en la nube, con compatibilidad para la implementación de ejecución en la nube, garantizando la escalabilidad y la facilidad de uso. Actualmente, la inferencia se realiza con CPU. Para configurar Cloud Run con Terraform, consulte el siguiente repositorio para obtener instrucciones:

FASTAPI-CLUDRUN-Starter

Empezando

Para comenzar con YouTube Auto-Dub, siga estos pasos:

1. Configuración del medio ambiente

Para el desarrollo local, recomendamos establecer un entorno de condena con:

conda install mamba -n base -c conda-forge
mamba create -n youtube-auto-dub python=3.9 -y
mamba install -n youtube-auto-dub pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia -y
conda activate youtube-auto-dub
pip install -r requirements.txt

2. Descargue los puntos de control requeridos

Descargue los puntos de control del modelo necesarios para el reconocimiento y la síntesis de la voz del timbre:

sudo aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://myshell-public-repo-hosting.s3.amazonaws.com/checkpoints_1226.zip -d /code -o checkpoints_1226.zip
sudo unzip /code/checkpoints_1226.zip -d backend/checkpoints

3. Ejecutando la aplicación

Con el entorno configurado y los puntos de control descargados, navegue al directorio de backend e inicie la aplicación usando:

 cd backend
uvicorn app.main:app --reload

Uso

Para usar YouTube Auto-DUB, comience enviando un enlace de YouTube a través del punto final:

 /api/v1/download/

La aplicación procesará el video, reconocerá el timbre de voz, traducirá los subtítulos, sintetizará el discurso traducido que coincide con el timbre original y luego ensamble el video final. El video procesado se guardará en backend/data/final_videos . Con la ID de video devuelta en la salida, puede verificar el estado de procesamiento a través del punto final:

 /api/v1/status/{video_id}

Finalmente, puede descargar el video final usando el punto final:

 /api/v1/download-video/{video_id}

insertar la identificación del video.

Despliegue

Este proyecto está diseñado con la implementación de la nube en mente. Las configuraciones proporcionadas de cloudbuild.yaml y Terraform facilitan la implementación en Google Cloud Platform, específicamente utilizando Cloud Ej ejecución para alojamiento de aplicaciones escalable y sin servidor.

Que contribuye

¡Las contribuciones son bienvenidas! Ya sea que esté solucionando un error, agregando nuevas funciones o mejorando la documentación, se agradece su ayuda. No dude en desembolsar el repositorio y enviar solicitudes de extracción.

Referencia e inspiración

El desarrollo de YouTube Auto-Dub se inspiró en el siguiente repositorio:

• OpenVoice: tecnología de clonación de voz instantánea de Myshell, utilizada para el reconocimiento y la síntesis de Voice Timbre en este proyecto.

Direcciones futuras

• Mejoras del modelo : explore e integre mejores modelos para el reconocimiento y la síntesis de voz.
• Soporte de GPU sin servidor : investigue las opciones para la computación de GPU sin servidor para acelerar el procesamiento.
• Interfaz frontend : desarrolle un frontend fácil de usar para una interacción más fácil con la aplicación.
• Sincronización de traducción : Mejore la sincronización entre el texto traducido y el contenido de video para una experiencia de visualización perfecta.

Licencia

Este proyecto tiene licencia bajo la licencia MIT; consulte el archivo de licencia para obtener más detalles.