youtube auto dub

YouTube Auto-Dub

该存储库是通过使用OpenVoice捕获和推断语音音色来开发FastAPI后端来配音YouTube视频的起点。

核心功能

• 语音音色识别：利用OpenVoice技术来准确识别原始YouTube视频中的语音音色。
• 文本到语音综合：下载和流程字幕，将其转换为语音，并尽可能接近原始语音音色。
• 灵活的部署：通过GITHUB操作和云构建支持部署，并兼容云运行部署，可确保可扩展性和易用性。当前，使用CPU进行推理。有关使用Terraform运行的云运行，请参阅以下存储库以获取说明：

fastapi-cloudrun-Starter

入门

要开始使用YouTube Auto-Dub，请按照以下步骤：

1。环境设置

对于本地开发，我们建议通过以下方式建立一个Conda环境

conda install mamba -n base -c conda-forge
mamba create -n youtube-auto-dub python=3.9 -y
mamba install -n youtube-auto-dub pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia -y
conda activate youtube-auto-dub
pip install -r requirements.txt

2。下载必需的检查点

下载语音音色识别和综合所需的模型检查点：

sudo aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://myshell-public-repo-hosting.s3.amazonaws.com/checkpoints_1226.zip -d /code -o checkpoints_1226.zip
sudo unzip /code/checkpoints_1226.zip -d backend/checkpoints

3。运行应用程序

设置环境并下载了检查点，请导航到后端目录并使用以下方式启动应用程序：

 cd backend
uvicorn app.main:app --reload

用法

要使用YouTube Auto-Dub，请首先通过端点提交YouTube链接：

 /api/v1/download/

该应用程序将处理视频，识别语音音色，翻译字幕，合成与原始音色匹配的翻译语音，然后组装最终视频。处理后的视频将保存在backend/data/final_videos中。随着输出中的视频ID返回，您可以通过端点检查处理状态：

 /api/v1/status/{video_id}

最后，您可以使用端点下载最终视频：

 /api/v1/download-video/{video_id}

插入视频的ID。

部署

该项目的设计考虑了云部署。提供的cloudbuild.yaml和Terraform配置有助于在Google Cloud Platform上部署，专门使用云运行用于可扩展的无服务器应用程序托管。

贡献

欢迎捐款！无论您是修复错误，添加新功能还是改进文档，您的帮助都将受到赞赏。请随时订购存储库并提交拉动请求。

参考和灵感

YouTube Auto-Dub的开发受到以下存储库的启发：

• OpenVoice：Myshell的即时语音克隆技术，用于该项目的语音音色识别和综合。

未来的方向

• 模型改进：探索和整合更好的语音识别和综合模型。
• 无服务器GPU支持：研究无服务器GPU计算的选项以加速处理。
• 前端接口：开发一个用户友好的前端，以更轻松地与应用程序进行交互。
• 翻译同步：增强翻译文本和视频内容之间的同步，以获得无缝的观看体验。

执照

该项目是根据MIT许可证获得许可的 - 有关详细信息，请参见许可证文件。