youtube auto dub

YouTube automaticamente

Este repositório serve como ponto de partida para o desenvolvimento de um back -end da FASTAPI para a dublagem de vídeos do YouTube, capturando e inferindo o timbre de voz usando o OpenVoice.

Recursos principais

• Reconhecimento do Timbre de Voz : Utiliza a tecnologia OpenVoice para reconhecer com precisão o timbre de voz do vídeo original do YouTube.
• Síntese de texto em fala : downloads e processa legendas, traduzindo-as e convertendo-as em fala, combinando o timbre de voz original o mais próximo possível.
• Implantação flexível : suporta a implantação por meio de ações do GitHub e construção em nuvem, com compatibilidade para implantação em nuvem, garantindo escalabilidade e facilidade de uso. Atualmente, a inferência é realizada usando a CPU. Para configurar o Cloud Run with Terraform, consulte o seguinte repositório para obter instruções:

FASTAPI-CLOUDRUN-STARTER

Começando

Para começar com o YouTube Auto-Dub, siga estas etapas:

1. Configuração do ambiente

Para o desenvolvimento local, recomendamos a criação de um ambiente de conda com:

conda install mamba -n base -c conda-forge
mamba create -n youtube-auto-dub python=3.9 -y
mamba install -n youtube-auto-dub pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia -y
conda activate youtube-auto-dub
pip install -r requirements.txt

2. Download de pontos de verificação necessários

Faça o download dos pontos de verificação do modelo necessários para o reconhecimento e síntese do timbre de voz:

sudo aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://myshell-public-repo-hosting.s3.amazonaws.com/checkpoints_1226.zip -d /code -o checkpoints_1226.zip
sudo unzip /code/checkpoints_1226.zip -d backend/checkpoints

3. Executando o aplicativo

Com o ambiente configurado e os pontos de verificação baixados, navegue até o diretório de back -end e inicie o aplicativo usando:

 cd backend
uvicorn app.main:app --reload

Uso

Para usar o YouTube Auto-Dub, comece enviando um link do YouTube através do ponto final:

 /api/v1/download/

O aplicativo processará o vídeo, reconhecerá o timbre de voz, traduzirá as legendas, sintetizará o discurso traduzido que corresponde ao timbre original e, em seguida, montará o vídeo final. O vídeo processado será salvo em backend/data/final_videos . Com o ID de vídeo retornado na saída, você pode verificar o status de processamento através do endpoint:

 /api/v1/status/{video_id}

Finalmente, você pode baixar o vídeo final usando o endpoint:

 /api/v1/download-video/{video_id}

Inserindo o ID do vídeo.

Implantação

Este projeto foi projetado com a implantação em nuvem em mente. As configurações cloudbuild.yaml e Terraform fornecidas facilitam a implantação na plataforma do Google Cloud, especificamente usando a Run em nuvem para hospedagem de aplicativos sem servidor escalável.

Contribuindo

As contribuições são bem -vindas! Esteja você corrigindo um bug, adicionando novos recursos ou melhorando a documentação, sua ajuda é apreciada. Sinta -se à vontade para bifurcar o repositório e enviar solicitações de puxão.

Referência e inspiração

O desenvolvimento do YouTube Auto-Dub foi inspirado no seguinte repositório:

• OpenVoice: Tecnologia de clonagem de voz instantânea da Myshell, utilizada para reconhecimento e síntese de timbre de voz neste projeto.

Direções futuras

• Melhorias do modelo : explore e integrar melhores modelos para reconhecimento e síntese de voz.
• Suporte à GPU sem servidor : Investigue opções para a computação da GPU sem servidor para acelerar o processamento.
• Interface do front-end : desenvolva um front-end amigável para facilitar a interação com o aplicativo.
• Sincronização de tradução : aprimore a sincronização entre texto traduzido e conteúdo de vídeo para uma experiência de visualização perfeita.

Licença

Este projeto está licenciado sob a licença do MIT - consulte o arquivo de licença para obter detalhes.