youtube auto dub

YouTube Auto-Dub

Этот репозиторий служит отправной точкой для разработки бэкэнда Fastapi для дублирования видео на YouTube, захватывая и выводя вывод голоса с использованием OpenVoice.

Основные особенности

• Голосовое распознавание Timbre : использует технологию OpenVoice для точного распознавания голоса Timbre из оригинального видео YouTube.
• Синтез текста в речь : загрузки и процессы подзаголовок, перевод их и преобразования в речь, соответствующие оригинальному голосовому тембру как можно ближе.
• Гибкое развертывание : поддерживает развертывание с помощью действий GitHub и облачной сборки, с совместимостью для развертывания облачного запуска, обеспечения масштабируемости и простоты использования. В настоящее время вывод выполняется с использованием процессора. Для настройки облачного запуска с Terraform обратитесь к следующему репозиторию для инструкций:

Fastapi-Cloudrun-Starter

Начиная

Чтобы начать работу с Auto-Dub Youtube, выполните следующие действия:

1. Настройка среды

Для местного развития мы рекомендуем создать среду Conda с:

conda install mamba -n base -c conda-forge
mamba create -n youtube-auto-dub python=3.9 -y
mamba install -n youtube-auto-dub pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia -y
conda activate youtube-auto-dub
pip install -r requirements.txt

2. Загрузите необходимые контрольные точки

Загрузите модель контрольно -пропускных пунктов, необходимых для распознавания и синтеза голоса:

sudo aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://myshell-public-repo-hosting.s3.amazonaws.com/checkpoints_1226.zip -d /code -o checkpoints_1226.zip
sudo unzip /code/checkpoints_1226.zip -d backend/checkpoints

3. Запуск приложения

С настройкой среды и загруженными контрольно -пропускными пунктами, перейдите в каталог бэкэнд и запустите приложение, используя:

 cd backend
uvicorn app.main:app --reload

Использование

Чтобы использовать youtube Auto-Dub, начните с отправки ссылки на YouTube через конечную точку:

 /api/v1/download/

Приложение обработает видео, распознает голосовой тембр, переведет субтитры, синтезирует переведенную речь, соответствующую оригинальному тембру, а затем соберите окончательное видео. Обработанное видео будет сохранено в backend/data/final_videos . С помощью идентификатора видео, возвращаемого в выводе, вы можете проверить состояние обработки через конечную точку:

 /api/v1/status/{video_id}

Наконец, вы можете скачать окончательное видео, используя конечную точку:

 /api/v1/download-video/{video_id}

Вставка идентификатора видео.

Развертывание

Этот проект разработан с учетом развертывания облаков. Предоставленные конфигурации cloudbuild.yaml и Terraform облегчают развертывание на платформе Google Cloud, в частности, используя Cloud Run для масштабируемого хостинга приложений без сервера.

Внося

Взносы приветствуются! Если вы исправляете ошибку, добавляете новые функции или улучшаете документацию, ваша помощь ценится. Пожалуйста, не стесняйтесь раскошелиться на репозиторий и отправлять запросы на привлечение.

Ссылка и вдохновение

Разработка Auto-Dub YouTube была вдохновлена ​​следующим хранилищем:

• OpenVoice: технология мгновенного голоса клонирования MyShell, используемая для распознавания и синтеза голоса и синтеза голоса.

Будущие направления

• Улучшения модели : изучить и интегрировать лучшие модели для распознавания голоса и синтеза.
• Поддержка GPU без сервера : исследуйте параметры для вычислений без сервера для ускорения обработки.
• Интерфейс Frontend : Разработайте пользовательский фронт для более легкого взаимодействия с приложением.
• Синхронизация трансляции : улучшить синхронизацию между переведенным текстом и видеоконтентом для бесшовного опыта просмотра.

Лицензия

Этот проект лицензирован по лицензии MIT - для получения подробной информации см. Файл лицензии.