Bryan Adents是一種高級多代理系統,旨在根據歌詞生成音樂視頻。該項目分析歌詞並根據分析結果創建詳細的提示,以生成類似故事的圖像,最終製作圖像到圖像的音樂視頻。該系統利用OpenAI API,特別是用於文本處理的GPT-4O模型和圖像生成的DALL-E 3模型,為創建視頻內容創建提供了端到端的解決方案。
在開始之前,請確保您滿足以下要求:
ffmpeg並在系統路徑中可用ffmpeg ffmpeg 。bin文件夾添加到系統的路徑:Path變量並選擇它。單擊“編輯”。ffmpeg存檔的bin文件夾中。單擊“確定”以應用更改。 如果您沒有安裝Homebrew ,則安裝。打開終端並運行:
/bin/bash -c " $( curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh ) "使用Homebrew安裝ffmpeg :
brew install ffmpeg對於基於Debian的發行版(例如Ubuntu),打開終端並運行:
sudo apt update
sudo apt install ffmpeg對於基於紅帽的發行版(例如Fedora),打開終端並運行:
sudo dnf install ffmpeg克隆存儲庫:
git clone https://github.com/tanbryan/ai-mv-generator
cd bryan-agent創建並激活虛擬環境(可選):
python -m venv venv
source venv/bin/activate # On Windows use `venvScriptsactivate`安裝所需的依賴項:
pip install -r requirements.txt設置您的OpenAI API密鑰:
在項目root中創建.env文件,並添加您的OpenAI API密鑰:
OPENAI_API_KEY = " your_openai_api_key_here " 運行主腳本:
確保歌詞文件(.lrc)和音樂文件(.mp3)位於專用目錄內。 ❗️please確保兩個文件均以'songname-artistName.lrc或.mp3'的格式命名,請訪問主腳本runner.py並將完整的路徑添加到兩個文件:然後運行:
python runner.py代理執行和結果保存:
每個代理商將在提供的歌詞文件上依次工作:
在執行過程中,將在base_agent目錄中創建一個agent_status.json文件。該文件跟踪每個代理的狀態。如果任何代理人完成,其狀態將設置為true 。如果需要,您始終可以將狀態設置為false以重新運行特定代理。
查看生成的提示:
生成提示後,腳本將暫停。在歌詞目錄中的生成的JSON文件中查看它們。審核後,按Enter繼續進行。
完成圖像和視頻生成:
請按照提示完成圖像和視頻生成過程。
在test目錄中,運行後,您將根據Taylor Swift歌詞文件找到基於“愛情故事”的示例輸出:
LoveStory-TaylorSwift.mp4 :最終生成視頻的預覽。background.mp4 :清潔預生成的背景視頻。generated_prompts.json :JSON文件,其中包含為圖像生成的詳細提示。logo.png :音樂視頻的生成徽標。results.json :JSON:包含每個代理的結果的JSON文件。background_images/ :一個基於提示生成的背景圖像的文件夾。這些樣本提供了您可以從系統中期望的輸出的示例。
該項目已根據MIT許可獲得許可。有關詳細信息,請參見許可證文件。