Pollyduble

Pollyduble

Automatisches Synchronisieren mit Sprachkloning und Spracherkennung
Dank an OpenVoice, Meloten, schnelleres Flüstern, VoiceFixer, Python-Audio-Separator und FFMPEG.

Dies ist ein sehr experimenteller Prototyp eines Skripts, das darauf abzielt, English Audio über eine Videodatei automatisch zu beobachten, die ursprünglich in jedem Sprachflüster -Support aufgezeichnet wurde. Theoretisch sollte es mit einigen Modifikationen und verschiedenen OpenVoice -Modellen jede von OpenVoice unterstützte Sprache unterstützen. Die Übersetzung müsste jedoch von etwas anderem als Whisper behandelt werden

Merkmale

• Sprachklonen und lokale Text-zu-Sprache-Synthese
• Automatische Spracherkennung
• Audio -Trennung
• Automatische Synchronisation von synchronisierten Zeilen mit der ursprünglichen Sprache
• Optionale Sprachfixierung, um einige hohe Frequenzen zurückzubringen, die während des Sprachklonierungsprozesses verloren gehen
• Muxen Sie den synchronisierten Audio und extrahierten Instrumental -Track zurück in das Video

---

PRs sind willkommen, dies ist meistens nur ein Proof-of-Concept. Einige gute Verbesserungsideen sind:

• Sprecherdurch Diatrisierung, um die Sprache verschiedener Zeichen zu trennen und den richtigen Zeichen automatisch die richtigen synchronisierten Zeilen zuzuweisen
• Fähigkeit, benutzerdefinierte Untertitel zu laden, anstatt sich auf die automatische Spracherkennung zu verlassen
• Ein neuronales Übersetzungsnetzwerk (lokal ist sehr bevorzugt) oder API, um sich nicht auf Whispers schlechte Übersetzungen zu verlassen

Voraussetzungen

• Python 3.9
• FFMPEG, FFPROBE und FFPLAY in Ihrem System und in Pfad installiert
• Windows (nur unter Windows getestet)
• Wahrscheinlich ist eine moderne Nvidia -GPU mit CUDA -Unterstützung erforderlich
• Miniconda oder Anaconda (optional, aber empfohlen)

Installation

0. Installieren Sie FFMPEG, FFPROBE und FFPLAGE in Ihrem System und stellen Sie sicher, dass sie sich auf dem Weg befinden. Sie können sie von hier herunterladen.

1. Machen Sie ein neues Verzeichnis und klonen Sie dieses Repository:

git clone https://github.com/igerman00/Pollyduble
cd Pollyduble

2. Erstellen Sie eine neue Conda -Umgebung:

conda create -n dubbing python=3.9

3. Aktivieren Sie die Conda -Umgebung:

conda activate dubbing

4. Klonen Sie das OpenVoice -Repository

git clone https://github.com/myshell-ai/OpenVoice

Stellen Sie sicher, dass sich das OpenVoice -Repository im selben Verzeichnis wie dieses Repository befindet, es sollte "OpenVoice" genannt werden.

5. OpenVoice installieren:

 cd OpenVoice
pip install -e .
pip install git+https://github.com/myshell-ai/MeloTTS.git
python -m unidic download

6. Installieren Sie torch mit GPU-Unterstützung (der Index-URL-Parameter sollte für keine GPU-Unterstützung optional sein):

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

7. Installieren Sie die anderen Abhängigkeiten:

 cd .. # Go back to the root directory of the repo
pip install -r requirements-win-cu118.txt

Verwendung

1. Holen Sie sich eine Videodatei und platzieren Sie sie überall auf Ihrem Computer. Für dieses Beispiel werden wir davon ausgehen, dass sie sich im selben Verzeichnis wie unser demo.py -Skript befindet, und es heißt video.mp4 .
2. Führen Sie das Skript aus:

python demo.py -i video.mp4 -s -m

Die Ausgabe wird standardmäßig im Verzeichnis Pollyduble/output gespeichert. Es enthält verschiedene Dateien, einschließlich des synchronisierten Videos, des getrennten Audio, des synchronisierten Audio- und der Sprachprobe. Meistens sollte es ein Klick sein.

Zu den Optionen gehören:

• -i oder --input , um die Eingabevideodatei anzugeben
• -o oder --output um das Ausgabeverzeichnis anzugeben (Standard ist Pollyduble/output )
• -v oder --voice , um ein benutzerdefiniertes Beispiel für das Sprachkloning anzugeben. Wenn nicht angegeben, wird eine aus den ersten 15 Sekunden des Videos erstellt
• -s oder --separate , um die Audio -Trennung zu ermöglichen, dh das Extrahieren der Hintergrundmusik und die Sprache aus dem Video separat
• -m oder --mux um das Mux des getrennten Audio wieder in das Video mit der synchronisierten Rede zu ermöglichen
• -f oder --fix , um die Sprachreparatur zu ermöglichen, dh die Qualität der synchronisierten Sprache zu verbessern.
  ^ Experimentell und klingt nicht die meiste Zeit nicht so gut.
• --help um die Hilfe zur Hilfemeldung anzuzeigen

Lizenz

Dieses Projekt ist unter der MIT -Lizenz lizenziert - Einzelheiten finden Sie in der Lizenzdatei.