youtube auto dub

YouTube Auto-Dub

Dieses Repository dient als Ausgangspunkt für die Entwicklung eines Fastapi -Backends für das Synchronisieren von YouTube -Videos, indem die Stimme Timbre mit OpenVoice erfasst und schließt.

Kernmerkmale

• Voice Timbre -Erkennung : Verwendet die OpenVoice -Technologie, um die Voice Timbre aus dem ursprünglichen YouTube -Video genau zu erkennen.
• Text-to-Speech-Synthese : Downloads und verarbeitet Untertitel, übersetzen sie und konvertieren sie in Sprache, entsprechen der ursprünglichen Stimme Timbre so genau wie möglich.
• Flexible Bereitstellung : Unterstützt die Bereitstellung über GitHub -Aktionen und Cloud -Build, wobei die Kompatibilität für die Bereitstellung von Cloud -Lauf wird und die Skalierbarkeit und Benutzerfreundlichkeit gewährleistet. Derzeit wird Inferenz mit CPU durchgeführt. Für die Einrichtung von Cloud -Lauf mit Terraform finden Sie im folgenden Repository für Anweisungen:

FASTAPI-CLOUDRUN-STARTER

Erste Schritte

Befolgen Sie die folgenden Schritte, um mit YouTube Auto-Dub zu beginnen:

1. Umgebungsaufbau

Für die lokale Entwicklung empfehlen wir, eine Conda -Umgebung mit:

conda install mamba -n base -c conda-forge
mamba create -n youtube-auto-dub python=3.9 -y
mamba install -n youtube-auto-dub pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia -y
conda activate youtube-auto-dub
pip install -r requirements.txt

2. Laden Sie die erforderlichen Kontrollpunkte herunter

Laden Sie die für die Erkennung und Synthese von Voice Timbre erforderlichen Modell -Checkpoints herunter:

sudo aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://myshell-public-repo-hosting.s3.amazonaws.com/checkpoints_1226.zip -d /code -o checkpoints_1226.zip
sudo unzip /code/checkpoints_1226.zip -d backend/checkpoints

3. Ausführen der Anwendung

Wenn die Umgebung eingerichtet und Kontrollpunkte heruntergeladen werden, navigieren Sie zum Backend -Verzeichnis und starten Sie die Anwendung mit:

 cd backend
uvicorn app.main:app --reload

Verwendung

Um YouTube Auto-Dub zu verwenden, senden Sie zunächst einen YouTube-Link über den Endpunkt:

 /api/v1/download/

Die Anwendung verarbeitet das Video, erkennt die Stimme Timbre, übersetzt die Untertitel, synthetisieren die übersetzte Sprache, die dem ursprünglichen Timbre entspricht, und montieren Sie dann das endgültige Video. Das verarbeitete Video wird in backend/data/final_videos gespeichert. Mit der in der Ausgabe zurückgegebenen Video -ID können Sie den Verarbeitungsstatus über den Endpunkt überprüfen:

 /api/v1/status/{video_id}

Schließlich können Sie das endgültige Video mithilfe des Endpunkts herunterladen:

 /api/v1/download-video/{video_id}

Einfügen der ID des Videos.

Einsatz

Dieses Projekt ist im Hinblick auf die Cloud -Bereitstellung konzipiert. Die bereitgestellten cloudbuild.yaml und Terraform -Konfigurationen erleichtern die Bereitstellung auf der Google Cloud -Plattform, speziell mit Cloud -Ausführungen für skalierbare, serverlose Anwendungshosting.

Beitragen

Beiträge sind willkommen! Egal, ob Sie einen Fehler beheben, neue Funktionen hinzufügen oder die Dokumentation verbessern, Ihre Hilfe wird geschätzt. Bitte zögern Sie nicht, das Repository zu geben und Pull -Anfragen einzureichen.

Referenz und Inspiration

Die Entwicklung von YouTube Auto-Dub wurde vom folgenden Repository inspiriert:

• OpenVoice: Sofortige Sprachkloning -Technologie von MyShell, die für die Erkennung und Synthese von Voice Timbre in diesem Projekt verwendet wird.

Zukünftige Anweisungen

• Modellverbesserungen : Erforschen und integrieren Sie bessere Modelle für Spracherkennung und Synthese.
• Serverless GPU -Unterstützung : Untersuchen Sie die Optionen für serverlose GPU -Computing, um die Verarbeitung zu beschleunigen.
• Frontend-Schnittstelle : Entwickeln Sie ein benutzerfreundliches Frontend für eine einfachere Interaktion mit der Anwendung.
• Übersetzungssynchronisation : Verbessern Sie die Synchronisation zwischen übersetzten Text- und Videoinhalten für ein nahtloses Betrachtenerlebnis.

Lizenz

Dieses Projekt ist unter der MIT -Lizenz lizenziert - Einzelheiten finden Sie in der Lizenzdatei.