ai mv generator

AI-MV-генератор

Bryan Agents-это продвинутая многоагентная система, предназначенная для создания музыкальных клипов, основанных на текстах. В этом проекте анализируется текст и создает подробные подсказки, основанные на результатах анализа, чтобы создать истории, похожие на истории, в конечном итоге создавая музыкальное видео с изображением к изображению. Система использует API OpenAI, в частности, модель GPT-4O для обработки текста и модель Dall-E 3 для генерации изображений, для предоставления сквозного решения для создания видеоконтента.

Функции

• Лирический анализ агента : анализирует тексты песен и группирует их для дальнейшей обработки.
• Агент стиля : анализирует и применяет стили к контенту.
• Агент по приглашению : генерирует подробные рекомендации для создания изображений музыкального видео с использованием модели GPT-4O.
• Агент изображения : создает изображения на основе сгенерированных подсказок с использованием модели Dall-E 3.
• Агент логотипа : генерирует логотипы с различными эффектами.
• Видеогент : компилирует сгенерированные изображения, логотипы и плату за окончательное видео.

Предварительные условия

Прежде чем начать, убедитесь, что вы выполнили следующие требования:

• Python 3.8 или выше
• ffmpeg установлен и доступен на пути вашей системы
• Требуемые установленные пакеты Python

Установка ffmpeg

Windows:

1. Скачать ffmpeg с официального сайта.
2. Извлеките загруженный архив в папку по вашему выбору.
3. Добавьте папку bin на путь вашей системы:
   • Откройте начальный поиск, введите «env» и выберите «Изменить переменные системной среды».
   • В окне «Свойства системы» нажмите кнопку «Переменные среды».
   • В окне переменных среды найдите переменную Path в разделе «Системные переменные» и выберите ее. Нажмите «Редактировать».
   • Нажмите «Новый» и добавьте путь к папке bin извлеченного архива ffmpeg . Нажмите «ОК», чтобы применить изменения.

macOS:

1. Установите Homebrew , если у вас его нет. Откройте терминал и запустите:

   /bin/bash -c " $( curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh ) "

2. Используйте Homebrew для установки ffmpeg :

   brew install ffmpeg

Linux:

1. Для распределений на базе Debian (например, Ubuntu) откройте терминал и запустите:

   sudo apt update
   sudo apt install ffmpeg

2. Для распределений на основе красной шляпы (например, Fedora) откройте терминал и запустите:

   sudo dnf install ffmpeg

Установка

1. Клонировать репозиторий:

   git clone https://github.com/tanbryan/ai-mv-generator
   cd bryan-agent

2. Создайте и активируйте виртуальную среду (необязательно):

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

3. Установите требуемые зависимости:

   pip install -r requirements.txt

4. Настройте свой ключ API OpenAI:

   Создайте файл .env в корне проекта и добавьте свой ключ API OpenAI:

    OPENAI_API_KEY = " your_openai_api_key_here " 

Использование

1. Запустите основной сценарий:

   Убедитесь, что файл текста (.lrc) и музыкальный файл (.mp3) расположены в специальном каталоге. ❗ Пожалуйста, убедитесь, что оба файла названы в формате 'songname-artistname.lrc или .mp3' Зайдите в основной скрипт runner.py и добавьте свои полные пути к обоим файлам: затем запустите:

   python runner.py

2. Выполнение агента и сохранение результатов:

   Каждый агент будет работать последовательно в предоставленном файле текстов:

   • LyricanalyzeAgent : анализирует тексты и группы для дальнейшей обработки. Результаты будут сохранены в файле JSON в каталоге текста.
   • Styleagent : анализирует и применяет стили к контенту. Настройки базового стиля будут сохранены в том же файле JSON.
   • PromptAgent : генерирует подробные подсказки для создания изображений музыкального видео. Сценарий будет паузой после создания подсказок для вас, чтобы просмотреть их в сгенерированном файле JSON. После просмотра нажмите Enter, чтобы продолжить.
   • ImageAgent : создает изображения на основе сгенерированных подсказок и сохраняет их в указанном каталоге.
   • Логоагент : генерирует логотипы с различными эффектами.
   • VideoAgent : компилирует фон и прокрутку текстов в финальное видео.

   Во время выполнения файл agent_status.json будет создан в каталоге BASE_AGENT. Этот файл отслеживает статус каждого агента. Если какой -либо агент завершится, его статус будет установлен на true . Вы всегда можете установить статус для false , чтобы повторно затронуть конкретного агента, если это необходимо.

3. Просмотрите сгенерированные подсказки:

   Сценарий будет паузой после создания подсказок. Просмотрите их в сгенерированном файле JSON в каталоге текста. После просмотра нажмите Enter, чтобы продолжить.

4. Завершите генерацию изображения и видео:

   Следуйте за подсказками, чтобы завершить процесс генерации изображения и видео.

Тестовый каталог

В справочнике test , после запуска вы найдете образцы выходов на основе «истории любви» от текста Тейлор Свифт:

• LoveStory-TaylorSwift.mp4 : Предварительный просмотр окончательного сгенерированного видео.

Lovestory-taylorswift.mp4

• background.mp4 : чистое предварительно сгенерированное фоновое видео.
• generated_prompts.json : файл JSON, содержащий подробные подсказки, сгенерированные для изображений.
• logo.png : сгенерированный логотип для музыкального видео.
• results.json : файл JSON, содержащий результаты каждого агента.
• background_images/ : папка, содержащая фоновые изображения, сгенерированные на основе подсказок.

Эти образцы дают пример вывода, который вы можете ожидать от системы.

Лицензия

Этот проект лицензирован по лицензии MIT. Смотрите файл лицензии для получения подробной информации.