ai mv generator

AI-MV-Generador

A Bryan Agents é um sistema multi-agente avançado projetado para gerar vídeos musicais com base nas letras. Este projeto analisa as letras e cria instruções detalhadas com base nos resultados da análise para gerar imagens semelhantes a histórias, produzindo um videoclipe de imagem para imagem. O sistema aproveita a API OpenAI, especificamente o modelo GPT-4O para processamento de texto e o modelo Dall-E 3 para geração de imagens, para fornecer uma solução de ponta a ponta para criação de conteúdo de vídeo.

Características

• Lyric Analyze Agent : analisa as letras e as agrupa para um processamento adicional.
• Agente de estilo : analisa e aplica estilos ao conteúdo.
• Agente Prompt : gera prompts detalhados para criar imagens de fundo de vídeo musical usando o modelo GPT-4O.
• Agente de imagem : cria imagens com base nos avisos gerados usando o modelo Dall-E 3.
• Agente do logotipo : gera logotipos com vários efeitos.
• Agente de vídeo : compila as imagens geradas, logotipos e letras queimando em um vídeo final.

Pré -requisitos

Antes de começar, verifique se você atendeu aos seguintes requisitos:

• Python 3.8 ou superior
• ffmpeg instalado e disponível no caminho do seu sistema
• Pacotes Python necessários instalados

Instalando ffmpeg

Windows:

1. Faça o download ffmpeg no site oficial.
2. Extraia o arquivo baixado para uma pasta de sua escolha.
3. Adicione a pasta bin ao caminho do seu sistema:
   • Abra a pesquisa inicial, digite "Env" e selecione "Edite as variáveis ​​do ambiente do sistema".
   • Na janela Propriedades do sistema, clique no botão "Variáveis ​​de ambiente".
   • Na janela Variáveis ​​do ambiente, encontre a variável Path na seção "Variáveis ​​do sistema" e selecione -a. Clique em "Editar".
   • Clique em "Novo" e adicione o caminho à bin do compartimento do arquivo ffmpeg extraído. Clique em "OK" para aplicar as alterações.

macos:

1. Instale Homebrew se você não o tiver instalado. Abra o terminal e corra:

   /bin/bash -c " $( curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh ) "

2. Use Homebrew para instalar ffmpeg :

   brew install ffmpeg

Linux:

1. Para distribuições baseadas em Debian (por exemplo, Ubuntu), abra o terminal e execute:

   sudo apt update
   sudo apt install ffmpeg

2. Para distribuições baseadas em Red Hat (por exemplo, Fedora), abra o terminal e execute:

   sudo dnf install ffmpeg

Instalação

1. Clone o repositório:

   git clone https://github.com/tanbryan/ai-mv-generator
   cd bryan-agent

2. Crie e ativar um ambiente virtual (opcional):

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

3. Instale as dependências necessárias:

   pip install -r requirements.txt

4. Configure sua chave de API do OpenAI:

   Crie um arquivo .env na raiz do projeto e adicione sua chave de API do OpenAI:

    OPENAI_API_KEY = " your_openai_api_key_here " 

Uso

1. Execute o script principal:

   Certifique -se de que o arquivo de letras (.LRC) e o arquivo de música (.mp3) estejam localizados em um diretório dedicado. ❗️Porase Verifique se os dois arquivos são nomeados no formato de 'SongName-artistname.lrc ou .mp3', vá para o script principal runner.py e adicione seus caminhos completos aos dois arquivos: depois execute:

   python runner.py

2. Execução do agente e economia de resultados:

   Cada agente funcionará sequencialmente no arquivo de letras fornecidas:

   • LyricanalyZeagent : analisa as letras e as agrada para um processamento adicional. Os resultados serão salvos em um arquivo JSON no diretório da letra.
   • Styleagent : analisa e aplica estilos ao conteúdo. As configurações de estilo base serão salvas no mesmo arquivo JSON.
   • PromptAgent : gera avisos detalhados para criar imagens de fundo de videoclipes. O script fará uma pausa depois de gerar os avisos para que você os revise no arquivo JSON gerado. Depois de revisado, pressione Enter para continuar.
   • ImageAgent : cria imagens com base nos avisos gerados e os salva no diretório especificado.
   • Logoagent : gera logotipos com vários efeitos.
   • VideoAgent : compila as letras de fundo e rolando em um vídeo final.

   Durante a execução, um arquivo agent_status.json será criado no diretório BASE_AGENT. Este arquivo acompanha o status de cada agente. Se algum agente concluir, seu status será definido como true . Você sempre pode definir o status como false para executar novamente um agente específico, se necessário.

3. Revise os avisos gerados:

   O script fará uma pausa depois de gerar os prompts. Revise -os no arquivo JSON gerado no diretório da letra. Depois de revisado, pressione Enter para continuar.

4. Complete a geração de imagem e vídeo:

   Siga os avisos para concluir o processo de geração de imagem e vídeo.

Diretório de teste

No diretório test , após a execução, você encontrará saídas de amostra com base na "História de Love" do arquivo de letras de Taylor Swift:

• LoveStory-TaylorSwift.mp4 : A prévia do vídeo final gerado.

Lovestory-taylorswift.mp4

• background.mp4 : Vídeo de fundo pré -gerado limpo.
• generated_prompts.json : o arquivo json que contém os avisos detalhados gerados para as imagens.
• logo.png : o logotipo gerado para o videoclipe.
• results.json : O arquivo JSON que contém os resultados de cada agente.
• background_images/ : Uma pasta que contém as imagens de fundo geradas com base nos prompts.

Essas amostras fornecem um exemplo da saída que você pode esperar do sistema.

Licença

Este projeto está licenciado sob a licença do MIT. Consulte o arquivo de licença para obter detalhes.