ai mv generator

AI-MV Generador

Bryan Agents es un sistema avanzado de múltiples agentes diseñado para generar videos musicales basados ​​en letras. Este proyecto analiza las letras y crea indicaciones detalladas basadas en los resultados del análisis para generar imágenes similares a una historia, produciendo en última instancia un video musical de imagen a imagen. El sistema aprovecha la API de OpenAI, específicamente el modelo GPT-4O para el procesamiento de texto y el modelo Dall-E 3 para la generación de imágenes, para proporcionar una solución de extremo a extremo para la creación de contenido de video.

Características

• Lyric Analyze Agent : Analiza las letras y las agrupa para su posterior procesamiento.
• Agente de estilo : analiza y aplica estilos al contenido.
• Agente indicativo : genera indicaciones detalladas para crear imágenes de fondo de video musical usando el modelo GPT-4O.
• Agente de imagen : crea imágenes basadas en las indicaciones generadas utilizando el modelo Dall-E 3.
• Agente del logotipo : genera logotipos con varios efectos.
• Agente de video : compila las imágenes generadas, logotipos y las letras de Scorlling en un video final.

Requisitos previos

Antes de comenzar, asegúrese de haber cumplido los siguientes requisitos:

• Python 3.8 o superior
• ffmpeg instalado y disponible en la ruta de su sistema
• Paquetes de Python requeridos instalados

Instalación de ffmpeg

Windows:

1. Descargue ffmpeg desde el sitio web oficial.
2. Extraiga el archivo descargado a una carpeta de su elección.
3. Agregue la carpeta bin a la ruta de su sistema:
   • Abra la búsqueda de inicio, escriba "Env" y seleccione "Editar las variables de entorno del sistema".
   • En la ventana Propiedades del sistema, haga clic en el botón "Variables de entorno".
   • En la ventana Variables de entorno, busque la variable Path en la sección "Variables del sistema" y seleccione. Haga clic en "Editar".
   • Haga clic en "Nuevo" y agregue la ruta a la carpeta bin del archivo ffmpeg extraído. Haga clic en "Aceptar" para aplicar los cambios.

macOS:

1. Instale Homebrew si no lo tiene instalado. Abra la terminal y ejecute:

   /bin/bash -c " $( curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh ) "

2. Use Homebrew para instalar ffmpeg :

   brew install ffmpeg

Linux:

1. Para las distribuciones basadas en Debian (por ejemplo, Ubuntu), abra el terminal y ejecute:

   sudo apt update
   sudo apt install ffmpeg

2. Para las distribuciones basadas en Red Hat (por ejemplo, Fedora), abra el terminal y ejecute:

   sudo dnf install ffmpeg

Instalación

1. Clon el repositorio:

   git clone https://github.com/tanbryan/ai-mv-generator
   cd bryan-agent

2. Crear y activar un entorno virtual (opcional):

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

3. Instale las dependencias requeridas:

   pip install -r requirements.txt

4. Configure su tecla API de OpenAI:

   Cree un archivo .env en la raíz del proyecto y agregue su tecla API de OpenAI:

    OPENAI_API_KEY = " your_openai_api_key_here " 

Uso

1. Ejecute el guión principal:

   Asegúrese de que el archivo de letras (.lrc) y el archivo de música (.mp3) se encuentren dentro de un directorio dedicado. ❗️ por favor asegúrese de que ambos archivos se nombren en el formato de 'Songname-ArtistName.lrc o .mp3' Van al script principal runner.py y agregue sus rutas completas a ambos archivos: luego ejecute:

   python runner.py

2. Ejecución del agente y ahorro de resultados:

   Cada agente funcionará secuencialmente en el archivo de letras proporcionado:

   • Lyricanalyzagent : analiza las letras y las agrupa para su posterior procesamiento. Los resultados se guardarán en un archivo JSON dentro del directorio de letras.
   • Styleagent : analiza y aplica estilos al contenido. La configuración de estilo base se guardará en el mismo archivo JSON.
   • PractAgent : genera indicaciones detalladas para crear imágenes de fondo de video musical. El script se detendrá después de generar las indicaciones para que las revise en el archivo JSON generado. Una vez revisado, presione Entrar para continuar.
   • ImageAgent : crea imágenes basadas en las indicaciones generadas y las guarda en el directorio especificado.
   • Logoagent : genera logotipos con varios efectos.
   • VideoAgent : compila el fondo y el desplazamiento de las letras en un video final.

   Durante la ejecución, se creará un archivo agent_status.json en el directorio base_agent. Este archivo realiza un seguimiento del estado de cada agente. Si algún agente se completa, su estado se establecerá en true . Siempre puede establecer el estado en false para volver a ejecutar un agente específico si es necesario.

3. Revise las indicaciones generadas:

   El script se detendrá después de generar las indicaciones. Revisarlos en el archivo JSON generado dentro del directorio de letras. Una vez revisado, presione Entrar para continuar.

4. Complete la generación de la imagen y el video:

   Siga las indicaciones para completar el proceso de generación de imágenes y videos.

Directorio de prueba

En el directorio test , después de ejecutarse, encontrará salidas de muestra basadas en la "historia de amor" de Taylor Swift Letrics File:

• LoveStory-TaylorSwift.mp4 : La vista previa del video final generado.

Lovestory-TayLorSwift.mp4

• background.mp4 : video de fondo precenerado limpio.
• generated_prompts.json : el archivo JSON que contiene las indicaciones detalladas generadas para las imágenes.
• logo.png : el logotipo generado para el video musical.
• results.json : el archivo JSON que contiene los resultados de cada agente.
• background_images/ : una carpeta que contiene las imágenes de fondo generadas en función de las indicaciones.

Estas muestras proporcionan un ejemplo de la salida que puede esperar del sistema.

Licencia

Este proyecto tiene licencia bajo la licencia MIT. Consulte el archivo de licencia para obtener más detalles.