ai_beats

AI击败

---

我写了一篇博客文章，更详细地描述了该项目，请确保检查“如何使用AI生成音乐剪辑”以了解更多信息！

---

通过此项目，您可以使用AI来生成音乐曲目和视频剪辑。提供一些有关您想要音乐和视频的信息，代码将完成其余的信息。

音乐生成工作流程

首先，我们使用生成模型来创建音乐样本，此处使用的默认模型只能生成最高30秒的音乐，因此，我们采取了另一个步骤来扩展音乐。在使用音频零件完成后，我们可以生成视频，首先，我们从稳定的扩散模型开始，以生成图像，然后使用另一个生成模型给它一些运动和动画。为了撰写最终的视频剪辑，我们将每个生成的音乐都与尽可能多的动画图像结合在一起，以匹配音乐的长度。

所有这些步骤都将生成中间文件，您可以检查并手动删除您不喜欢改善结果的内容。

例子

人工智能击败卷。 1

人工智能击败卷。 2

用法

使用此存储库的建议方法是与Docker一起使用，但是您也可以使用自定义VENV，只需确保安装所有依赖项即可。

注意：确保更新设备参数以最大化性能，但请注意，某些模型可能对所有设备选项（CPU，CUDA，MPS）不起作用。

应用程序工作流程

1. 音乐发电：生成初始音乐曲目
2. 音乐延续：将初始音乐曲目扩展到更长的时间
3. 图像生成：创建将用于填充视频剪辑的图像
4. 视频生成：生成动画从图像组成视频剪辑
5. 视频剪辑创建：将多个视频片段加在一起以伴随音乐曲目

配置

 project_dir: beats
project_name: lofi
seed: 42
music:
  prompt: "lo-fi music with a relaxing slow melody"
  model_id: facebook/musicgen-small
  device: cpu
  n_music: 5
  music_duration: 60
  initial_music_tokens: 1050
  max_continuation_duration: 20
  prompt_music_duration: 10
image:
  prompt: "Mystical Landscape"
  prompt_modifiers: 
    - "concept art, HQ, 4k"
    - "epic scene, cinematic, sci fi cinematic look, intense dramatic scene"
    - "digital art, hyperrealistic, fantasy, dark art"
    - "digital art, hyperrealistic, sense of comsmic wonder"
    - "mystical and ethereal atmosphere, photo taken with a wide-angle lens"
  model_id: stabilityai/sdxl-turbo
  device: mps
  n_images: 5
  inference_steps: 3
  height: 576
  width: 1024
video:
  model_id: stabilityai/stable-video-diffusion-img2vid
  device: cpu
  n_continuations: 2
  loop_video: true
  video_fps: 6
  decode_chunk_size: 8
  motion_bucket_id: 127
  noise_aug_strength: 0.1
audio_clip:
  n_music_loops: 1

• Project_dir ：将托管您所有项目的文件夹
• project_name ：项目名称和主文件夹
• 种子：用于控制模型随机性的种子
• 音乐
  • 提示：用于生成音乐的文本提示
  • model_id：用于生成和扩展音乐轨道的模型
  • 设备：模型使用的设备，通常是（CPU，CUDA，MPS）之一
  • N_Music：将创建的音乐曲目数量
  • Music_duration：最终音乐的持续时间
  • initial_music_tokens：初始音乐的持续时间（在代币中）
  • max_contination_duration：每个扩展音乐段的最大长度
  • 提示_music_duration：用于创建扩展的基本音乐的长度
• 图像
  • 提示：用于生成图像的文本提示
  • 提示_modifier：用于更改图像样式的提示修饰符
  • model_id：用于创建图像的模型
  • 设备：模型使用的设备，通常是（CPU，CUDA，MPS）之一
  • n_images：将创建的图像数量
  • 推理_STEPS：扩散模型的推理步骤数
  • 高度：生成图像的高度
  • 宽度：生成图像的宽度
• 视频
  • model_id：用于动画图像的模型
  • 设备：模型使用的设备，通常是（CPU，CUDA，MPS）之一
  • N_Continuations：将创建的动画片段数量
  • loop_video：如果每个音乐视频都会循环
  • video_fps：每个视频剪辑的每秒帧
  • decode_chunk_size：视频扩散的解码块大小参数
  • MOTION_BUCKET_ID：视频扩散的运动桶ID参数
  • noings_aug_strength：视频扩散的噪声aug强度参数
• audio_clip
  • N_MUSIC_LOOOPS：循环每次音乐曲目的次数

命令

构建Docker图像

make build

将绒毛和格式应用于代码（仅需要开发）

make lint

运行整个管道以创建音乐视频

make ai_beats

运行音乐生成步骤

make music

运行音乐延续步骤

make music_continuation

运行图像生成步骤

make image

运行视频生成步骤

make video

运行音频剪辑创建步骤

make audio_clip

发展

为了开发，请确保安装requirements-dev.txt并运行make lint以维护编码样式。

要求

我在MacBook Pro M2上开发并测试了大部分项目，我无法运行的唯一步骤是视频创建步骤，因为我使用了Google COLAB（带有V100或A100 GPU）。某些模型在MPS上无法运行，但无论如何它们都可以在合理的时间内运行。

免责声明

默认情况下，此处使用的模型具有特定的许可证，如果您想使用相同的型号，请确保检查其许可证。对于Music Generation MusicGEN及其CC-BY-NC 4.0许可证，用于图像生成SDXL-Turbo及其许可证-SDXL1.0许可证以及稳定的视频扩散及其稳定的视频扩散NC NC社区许可证的视频生成许可证。

参考

• Musicgen
• SDXL-Turbo
• 稳定的视频扩散
• 稳定的视频扩散 - 用法提示