ai_trailer

使用AI的自动拖车生成

---

我写了几篇与此项目有关的博客文章，请务必检查它们

• 用AI创建电影预告片，以更多详细信息描述该项目
• 使用Gemini 1.5 Pro创建视频预告片，探讨了Gemini 1.5 Pro视频功能的使用

我还为“ Google -gemini长上下文” Kaggle竞争进行了调整，如果您想看内容，请查看以下链接

• 总结了演练视频
• 完整的演练视频
• Kaggle笔记本
• Google Colab笔记本

---

该存储库的想法是自动为给定视频生成许多预告片候选，用户只需要提供视频文件和几个文本参数，并且所有其他内容都受到关注。

它如何工作？

首先，我们可以选择将视频的图在IMDB中分为子图，而不是从IMDB中取出，您还可以提供自己的绘图或修改它，而是这些子图将大致描述视频的主要部分，接下来，我们为每个子图生成语音。现在，我们只需要使用与每个子图相对应的简短剪辑并将声音应用在它们上，我们可以通过对视频中的许多帧进行采样，并将一些最相似的框架与每个子图一起使用，我们拥有最能代表每个子图的图像是，下一步将是从每个框架开始的几秒钟，我们的图像是最好的。在产生了预告片的音频和视觉部分之后，我们只需要将每个音频与相应的剪辑结合在一起，最后将所有夹子一起连接到最终的预告片中。

所有这些步骤都将生成中间文件，您可以检查并手动删除您不喜欢改善结果的内容。

注意：对于默认参数，对于每个子图，将仅生成一个音频和一个剪辑，从而仅创建一个预告片候选者。如果您希望创建更多的预告片候选者或有更多的音频和剪辑可供选择，则可以增加n_audios和n_retrieved_images ，只需记住，预告片候选人随着几何而随着n_audios = 3和n_retrieved_images = 3您将拥有9（3 ** 3 ** 3）Trailer Candidates。

例子

《活死之夜》（1968年）

Nosferatu（1922）

费米悖论 - 所有外星人在哪里？

自然历史博物馆（新恐龙展览会）4K徒步旅行 - 华盛顿特区

ChangElog

• 2024/03/03-添加了支持，为任何视频创建预告片不仅是电影。
• 2024/03/07-添加了支持从YouTube下载视频的支持。

用法

使用此存储库的建议方法是与Docker一起使用，但是您也可以使用自定义VENV，只需确保安装所有依赖项即可。

用户只需要提供两个输入，即视频文件和IMDB ID。之后，您可以转到configs.yaml文件并相应地调整值， video_id将是IMDB ID， video_path应该指向视频文件，您可能还需要将project_name更新为视频名称，并使用reference_voice_path提供参考语音。

如何获取视频IMDB ID？

IMDB上任何电影的URL看起来都将看起来像“ https://www.imdb.com/title/tt0063350”，ID将是title/之后的整数部分，在这种情况下，“活死之夜”的情况下，它将是0063350 ，IMDB主要可以找到电影的信息，但您还可以找到系列录制的情节和其他录像带。

应用程序工作流程

1. 视频检索（可选）：从YouTube下载视频
2. 绘图检索（可选）：从IMDB获取视频的绘图
3. 子图拆分：将图分为子图
4. 语音生成：为每个子图生成声音
5. 框架采样：示例视频中的多个帧
6. 框架排名：选择与每个子图最相似的帧
7. 剪辑：为选择的每个帧创建视频剪辑
8. 音频剪辑：将步骤2的语音添加到每个相应的剪辑中
9. 加入剪辑：加入所有音频剪辑以构建拖车

配置

 project_dir: 'projects'
project_name: Natural_History_Museum
video_path: 'movies/Natural_History_Museum.mp4'
plot_filename: 'plot.txt'
video_retrieval:
  video_url: 'https://www.youtube.com/watch?v=fdcEKPS6tOQ'
plot_retrieval:
  video_id: 
subplot:
  split_char:
voice:
  model_id: 'tts_models/multilingual/multi-dataset/xtts_v2'
  device: cpu
  reference_voice_path: 'voices/sample_voice.wav'
  tts_language: en
  n_audios: 1
frame_sampling:
  n_frames: 500
frame_ranking:
  model_id: 'clip-ViT-B-32'
  device: cpu
  n_retrieved_images: 1
  similarity_batch_size: 128
clip:
  min_clip_len: 3
audio_clip:
  clip_volume: 0.1
  voice_volume: 1.0

• Project_dir ：将托管您所有项目的文件夹
• project_name ：项目名称和主文件夹，它可以是您想要的任何名称
• Video_path ：视频文件的路径
• plot_filename ：将保留视频绘图的文件名
• video_retrieval ：
  • Video_url ：YouTube视频的可选URL
• plot_retrieval ：
  • Video_id ：视频的可选IMDB ID
• 子图：
  • split_char ：用于拆分剧情文字的可选字符
• 嗓音：
  • model_id ：tts模式ID，在这里我正在使用coqui ai
  • 设备：TTS和相似性模型使用的设备，通常是（CPU，CUDA，MPS）之一
  • Reference_voice_path ：参考音频文件的路径（将克隆的语音）
  • tts_language ：TTS模型的语言输入
  • N_Audios ：每个子图生成的音频数
• frame_smpling ：
  • N_frames ：视频中采样的帧数
• frame_ranking ：
  • Model_ID ：用于排名帧的相似性模型
  • 设备：TTS和相似性模型使用的设备，通常是（CPU，CUDA，MPS）之一
  • n_retresder_images ：每个子图的检索帧数
  • samelity_batch_size ：相似性模型使用的批处理大小嵌入帧
• 夹子：
  • min_clip_len ：剪辑的最小长度
• audio_clip ：
  • clip_volume ：最终剪辑保留的原始剪辑量的百分比
  • Voice_volume ：为最终剪辑保留的生成的语音量的百分比

命令

构建Docker图像

make build

运行整个管道以从视频和情节开始创建预告片

make trailer

运行整个管道以从视频开始创建预告片，然后从IMDB检索该图

make trailer_imdb

运行整个管道以从情节开始创建预告片，然后从YouTube下载视频

make trailer_youtube

运行整个管道以创建预告片，从YouTube下载视频并从IMDB检索剧情

make trailer_imdb_youtube

运行视频检索步骤

make video_retrieval

运行情节检索步骤

make plot_retrieval

运行子图步骤

make subplot

运行语音步骤

make voice

运行框架步骤（帧采样）

make frame

运行image_retrieval步骤（帧排名）

make image_retrieval

运行剪辑步骤

make clip

运行AUDIO_CLIP步骤

make audio_clip

运行join_clip步骤

make join_clip

将绒毛和格式应用于代码（仅需要开发）

make lint

发展

为了开发，请确保安装requirements-dev.txt并运行make lint以维护编码样式。

免责声明

默认情况下，我使用的是Coqui AI的XTT，如果您打算在此处使用输出，则在Coqui公共模型许可下使用XTT。