youtube auto dub

YouTube Auto-Dub

該存儲庫是通過使用OpenVoice捕獲和推斷語音音色來開發FastAPI後端來配音YouTube視頻的起點。

核心功能

• 語音音色識別：利用OpenVoice技術來準確識別原始YouTube視頻中的語音音色。
• 文本到語音綜合：下載和流程字幕，將其轉換為語音，並儘可能接近原始語音音色。
• 靈活的部署：通過GITHUB操作和雲構建支持部署，並兼容雲運行部署，可確保可擴展性和易用性。當前，使用CPU進行推理。有關使用Terraform運行的雲運行，請參閱以下存儲庫以獲取說明：

fastapi-cloudrun-Starter

入門

要開始使用YouTube Auto-Dub，請按照以下步驟：

1。環境設置

對於本地開發，我們建議通過以下方式建立一個Conda環境

conda install mamba -n base -c conda-forge
mamba create -n youtube-auto-dub python=3.9 -y
mamba install -n youtube-auto-dub pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia -y
conda activate youtube-auto-dub
pip install -r requirements.txt

2。下載必需的檢查點

下載語音音色識別和綜合所需的模型檢查點：

sudo aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://myshell-public-repo-hosting.s3.amazonaws.com/checkpoints_1226.zip -d /code -o checkpoints_1226.zip
sudo unzip /code/checkpoints_1226.zip -d backend/checkpoints

3。運行應用程序

設置環境並下載了檢查點，請導航到後端目錄並使用以下方式啟動應用程序：

 cd backend
uvicorn app.main:app --reload

用法

要使用YouTube Auto-Dub，請首先通過端點提交YouTube鏈接：

 /api/v1/download/

該應用程序將處理視頻，識別語音音色，翻譯字幕，合成與原始音色匹配的翻譯語音，然後組裝最終視頻。處理後的視頻將保存在backend/data/final_videos中。隨著輸出中的視頻ID返回，您可以通過端點檢查處理狀態：

 /api/v1/status/{video_id}

最後，您可以使用端點下載最終視頻：

 /api/v1/download-video/{video_id}

插入視頻的ID。

部署

該項目的設計考慮了雲部署。提供的cloudbuild.yaml和Terraform配置有助於在Google Cloud Platform上部署，專門使用雲運行用於可擴展的無服務器應用程序託管。

貢獻

歡迎捐款！無論您是修復錯誤，添加新功能還是改進文檔，您的幫助都將受到讚賞。請隨時訂購存儲庫並提交拉動請求。

參考和靈感

YouTube Auto-Dub的開發受到以下存儲庫的啟發：

• OpenVoice：Myshell的即時語音克隆技術，用於該項目的語音音色識別和綜合。

未來的方向

• 模型改進：探索和整合更好的語音識別和綜合模型。
• 無服務器GPU支持：研究無服務器GPU計算的選項以加速處理。
• 前端接口：開發一個用戶友好的前端，以更輕鬆地與應用程序進行交互。
• 翻譯同步：增強翻譯文本和視頻內容之間的同步，以獲得無縫的觀看體驗。

執照

該項目是根據MIT許可證獲得許可的 - 有關詳細信息，請參見許可證文件。