Pollyduble

Pollyduble

Автоматическое дублирование с помощью голосового клонирования и распознавания речи
Сделано возможным благодаря OpenVoice, Melotts, более быстрому шепоту, голосовой машине, Python-Audio-Sparator и Ffmpeg.

Это очень экспериментальный прототип сценария, который направлен на автоматическое дублирование английского аудио по видеофайлу, первоначально записанному в любых языковых поддержких Whisper. Теоретически, с некоторыми модификациями и различными моделями OpenVoice, он должен поддерживать любой язык, поддерживаемый OpenVoice, однако перевод должен быть обработан чем -то другим, кроме шепота

Функции

• Голосовой клонирование и локальный синтез текста в речь
• Автоматическое распознавание речи
• Аудио разделение
• Автоматическая синхронизация дублированных линий в исходную речь
• Необязательное исправление голоса, чтобы вернуть некоторые высокие частоты, потерянные во время процесса клонирования голоса
• Musding the Dubsed Audio и извлеченный инструментальный трек обратно в видео

---

Приветствуются PRS, это в основном просто подтверждение концепции. Некоторые хорошие идеи для улучшения включают:

• Диаризация динамика, чтобы отделить речь разных символов и автоматически назначить правильные названные строки правильным символам
• Возможность загружать пользовательские субтитры вместо того, чтобы полагаться на автоматическое распознавание речи
• Нейронная сеть перевода (локация очень предпочтительна) или API, чтобы не полагаться на дрянные переводы Whisper

Предварительные условия

• Python 3.9
• FFMPEG, FFPOBE и FFPLAY, установленные в вашей системе и в пути
• Windows (тестируется только на Windows)
• Вероятно, современный графический процессор NVIDIA с поддержкой CUDA, вероятно, требуется
• Miniconda или Anaconda (необязательно, но рекомендуется)

Установка

0. Установите на систему FFMPEG, FFProbe и FFPLAY и убедитесь, что они находятся на пути. Вы можете скачать их отсюда.

1. Сделайте новый каталог и клонируйте этот репозиторий:

git clone https://github.com/igerman00/Pollyduble
cd Pollyduble

2. Создайте новую среду Conda:

conda create -n dubbing python=3.9

3. Активировать среду Conda:

conda activate dubbing

4. Клонировать репозиторий OpenVoice

git clone https://github.com/myshell-ai/OpenVoice

Убедитесь, что репозиторий OpenVoice находится в том же каталоге, что и в этом репозитории, его следует назвать «OpenVoice».

5. Установите OpenVoice:

 cd OpenVoice
pip install -e .
pip install git+https://github.com/myshell-ai/MeloTTS.git
python -m unidic download

6. Установите torch с поддержкой GPU (параметр Index-Url должен быть необязательным для поддержки GPU):

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

7. Установите другие зависимости:

 cd .. # Go back to the root directory of the repo
pip install -r requirements-win-cu118.txt

Использование

1. Получите видеофайл и поместите его в любом месте на вашем компьютере, для этого примера мы предположим, что он находится в том же каталоге, что и наш сценарий demo.py , и он называется video.mp4 .
2. Запустите сценарий:

python demo.py -i video.mp4 -s -m

Вывод будет храниться в каталоге Pollyduble/output по умолчанию. Он будет содержать различные файлы, включая дублированное видео, отдельное звук, дублированное звук и образец голоса. В основном это должно быть один щелчок.

Варианты включают:

• -i или --input , чтобы указать входной видеофайл
• -o или --output для указания выходного каталога (по умолчанию есть Pollyduble/output )
• -v или --voice , чтобы указать пользовательский образец для голосового клонирования. Если не указано, один будет создан с первых 15 секунд видео
• -s или --separate , чтобы включить разлучение аудио, то есть извлечение фоновой музыки и речи из видео отдельно
• -m или --mux , чтобы включить разводящий звук обратно в видео с дублированной речью
• -f или --fix , чтобы включить исправление голоса, то есть улучшение качества дублированной речи.
  ^ Экспериментальный и на самом деле не звучит так хорошо большую часть времени.
• --help , чтобы отобразить сообщение справки

Лицензия

Этот проект лицензирован по лицензии MIT - для получения подробной информации см. Файл лицензии.