youtube auto dub

YouTube Auto-Dub

このリポジトリは、OpenVoiceを使用してVoice Timbreをキャプチャして推測することにより、YouTubeビデオを吹き替えるためのFastAPIバックエンドを開発するための出発点として機能します。

コア機能

• Voice Timbre認識：OpenVoiceテクノロジーを利用して、元のYouTubeビデオの音声音声を正確に認識します。
• テキストツースピックの統合：ダウンロードとプロセス字幕、それらを翻訳してスピーチに変換し、元の音色の音色を可能な限り密接に一致させます。
• 柔軟な展開：GitHubアクションとクラウドビルドを介した展開をサポートし、クラウド実行の展開と互換性を備え、スケーラビリティと使いやすさを確保します。現在、推論はCPUを使用して実行されます。 Terraformでクラウド実行を設定するには、指示については次のリポジトリを参照してください。

Fastapi-Cloudrun-Starter

はじめる

YouTube Auto-Dubを開始するには、次の手順に従ってください。

1。環境のセットアップ

地元の開発には、次のようなコンドラ環境を設定することをお勧めします。

conda install mamba -n base -c conda-forge
mamba create -n youtube-auto-dub python=3.9 -y
mamba install -n youtube-auto-dub pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia -y
conda activate youtube-auto-dub
pip install -r requirements.txt

2。必要なチェックポイントをダウンロードします

音声の認識と合成に必要なモデルチェックポイントをダウンロードしてください。

sudo aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://myshell-public-repo-hosting.s3.amazonaws.com/checkpoints_1226.zip -d /code -o checkpoints_1226.zip
sudo unzip /code/checkpoints_1226.zip -d backend/checkpoints

3。アプリケーションの実行

環境がセットアップされ、チェックポイントがダウンロードされたら、バックエンドディレクトリに移動し、以下を使用してアプリケーションを開始します。

 cd backend
uvicorn app.main:app --reload

使用法

YouTube Auto-Dubを使用するには、エンドポイントを介してYouTubeリンクを送信することから始めます。

 /api/v1/download/

アプリケーションは、ビデオの処理、音声の音色を認識し、字幕を翻訳し、元の音色に一致する翻訳された音声を合成し、最終ビデオを組み立てます。処理されたビデオはbackend/data/final_videosに保存されます。ビデオIDが出力で返されると、エンドポイントを介して処理ステータスを確認できます。

 /api/v1/status/{video_id}

最後に、エンドポイントを使用して最終ビデオをダウンロードできます。

 /api/v1/download-video/{video_id}

ビデオのIDを挿入します。

展開

このプロジェクトは、クラウドの展開を念頭に置いて設計されています。提供されたcloudbuild.yamlおよびTerraformの構成は、Google Cloudプラットフォームでの展開を容易にします。

貢献

貢献は大歓迎です！バグを修正したり、新しい機能を追加したり、ドキュメントを改善したりする場合でも、あなたの助けが高く評価されます。リポジトリをフォークし、プルリクエストを送信してください。

参照とインスピレーション

YouTube Auto-Dubの開発は、次のリポジトリに触発されました。

• OpenVoice：MyShellによるインスタント音声クローニングテクノロジーは、このプロジェクトで音声音色の認識と合成に利用されています。

将来の方向

• モデルの改善：音声認識と合成のためのより良いモデルを探索して統合します。
• サーバーレスGPUサポート：サーバーレスGPUコンピューティングのオプションを調査して、処理を加速します。
• フロントエンドインターフェイス：アプリケーションとのやり取りを容易にするために、ユーザーフレンドリーなフロントエンドを開発します。
• 翻訳の同期：シームレスな視聴体験のために、翻訳されたテキストとビデオコンテンツの間の同期を強化します。

ライセンス

このプロジェクトは、MITライセンスに基づいてライセンスされています。詳細については、ライセンスファイルを参照してください。