ai mv generator

AI-MV生成器

Bryan Adents是一种高级多代理系统，旨在根据歌词生成音乐视频。该项目分析歌词并根据分析结果创建详细的提示，以生成类似故事的图像，最终制作图像到图像的音乐视频。该系统利用OpenAI API，特别是用于文本处理的GPT-4O模型和图像生成的DALL-E 3模型，为创建视频内容创建提供了端到端的解决方案。

特征

• 歌词分析代理：分析歌词并将其分组以进行进一步处理。
• 样式代理：分析并将样式应用于内容。
• 提示代理：生成详细的提示，用于使用GPT-4O模型创建音乐视频背景图像。
• 图像代理：使用DALL-E 3模型根据生成的提示创建图像。
• 徽标代理：生成具有各种效果的徽标。
• 视频代理：将生成的图像，徽标和Scorlling歌词编译成最终视频。

先决条件

在开始之前，请确保您满足以下要求：

• Python 3.8或更高
• 安装了ffmpeg并在系统路径中可用
• 已安装了必需的Python软件包

安装ffmpeg

视窗：

1. 从官方网站下载ffmpeg 。
2. 将下载的存档提取到您选择的文件夹中。
3. 将bin文件夹添加到系统的路径：
   • 打开开始搜索，输入“ env”，然后选择“编辑系统环境变量”。
   • 在“系统属性”窗口中，单击“环境变量”按钮。
   • 在“环境变量”窗口中，在“系统变量”部分中找到Path变量并选择它。单击“编辑”。
   • 单击“ new”，然后将路径添加到提取的ffmpeg存档的bin文件夹中。单击“确定”以应用更改。

macos：

1. 如果您没有安装Homebrew ，则安装。打开终端并运行：

   /bin/bash -c " $( curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh ) "

2. 使用Homebrew安装ffmpeg ：

   brew install ffmpeg

Linux：

1. 对于基于Debian的发行版（例如Ubuntu），打开终端并运行：

   sudo apt update
   sudo apt install ffmpeg

2. 对于基于红帽的发行版（例如Fedora），打开终端并运行：

   sudo dnf install ffmpeg

安装

1. 克隆存储库：

   git clone https://github.com/tanbryan/ai-mv-generator
   cd bryan-agent

2. 创建并激活虚拟环境（可选）：

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

3. 安装所需的依赖项：

   pip install -r requirements.txt

4. 设置您的OpenAI API密钥：

   在项目root中创建.env文件，并添加您的OpenAI API密钥：

    OPENAI_API_KEY = " your_openai_api_key_here " 

用法

1. 运行主脚本：

   确保歌词文件（.lrc）和音乐文件（.mp3）位于专用目录内。 ❗️please确保两个文件均以'songname-artistName.lrc或.mp3'的格式命名，请访问主脚本runner.py并将完整的路径添加到两个文件：然后运行：

   python runner.py

2. 代理执行和结果保存：

   每个代理商将在提供的歌词文件上依次工作：

   • Lyricanalyzeagent ：分析歌词并将其分组以进行进一步处理。结果将保存在歌词目录中的JSON文件中。
   • 风格：分析并应用样式。基本样式设置将保存在同一JSON文件中。
   • 即将发生：生成详细的提示来创建音乐视频背景图像。该脚本将在生成提示后暂停，供您在生成的JSON文件中查看它们。审核后，按Enter继续进行。
   • 成像：根据生成的提示创建图像，并将其保存在指定的目录中。
   • Logoagent ：生成具有各种效果的徽标。
   • VideoAgent ：将背景和滚动歌词编译成最终视频。

   在执行过程中，将在base_agent目录中创建一个agent_status.json文件。该文件跟踪每个代理的状态。如果任何代理人完成，其状态将设置为true 。如果需要，您始终可以将状态设置为false以重新运行特定代理。

3. 查看生成的提示：

   生成提示后，脚本将暂停。在歌词目录中的生成的JSON文件中查看它们。审核后，按Enter继续进行。

4. 完成图像和视频生成：

   请按照提示完成图像和视频生成过程。

测试目录

在test目录中，运行后，您将根据Taylor Swift歌词文件找到基于“爱情故事”的示例输出：

• LoveStory-TaylorSwift.mp4 ：最终生成视频的预览。

lovestory-taylorswift.mp4

• background.mp4 ：清洁预生成的背景视频。
• generated_prompts.json ：JSON文件，其中包含为图像生成的详细提示。
• logo.png ：音乐视频的生成徽标。
• results.json ：JSON：包含每个代理的结果的JSON文件。
• background_images/ ：一个基于提示生成的背景图像的文件夹。

这些样本提供了您可以从系统中期望的输出的示例。

执照

该项目已根据MIT许可获得许可。有关详细信息，请参见许可证文件。