ai mv generator

AI-MV-Generator

Bryan Agents는 가사를 기반으로 뮤직 비디오를 생성하도록 설계된 고급 멀티 에이전트 시스템입니다. 이 프로젝트는 가사를 분석하고 분석 결과를 기반으로 스토리와 같은 이미지를 생성하여 궁극적으로 이미지-이미지 뮤직 비디오를 생성하는 자세한 프롬프트를 만듭니다. 이 시스템은 OpenAI API, 특히 텍스트 처리를위한 GPT-4O 모델 및 이미지 생성을위한 Dall-E 3 모델을 활용하여 비디오 컨텐츠 ​​생성을위한 엔드 투 엔드 솔루션을 제공합니다.

특징

• 가사 분석 에이전트 : 추가 처리를 위해 가사를 분석하고 그룹화합니다.
• 스타일 에이전트 : 컨텐츠에 스타일을 분석하고 적용합니다.
• 프롬프트 에이전트 : GPT-4O 모델을 사용하여 뮤직 비디오 배경 이미지를 만들기위한 상세한 프롬프트를 생성합니다.
• 이미지 에이전트 : Dall-E 3 모델을 사용하여 생성 된 프롬프트를 기반으로 이미지를 만듭니다.
• 로고 에이전트 : 다양한 효과가있는 로고를 생성합니다.
• 비디오 에이전트 : 생성 된 이미지, 로고 및 Scorlling 가사를 최종 비디오로 컴파일합니다.

전제 조건

시작하기 전에 다음 요구 사항을 충족했는지 확인하십시오.

• 파이썬 3.8 이상
• ffmpeg 시스템 경로에 설치되어 사용 가능합니다
• 필수 파이썬 패키지가 설치되었습니다

ffmpeg 설치

Windows :

1. 공식 웹 사이트에서 ffmpeg 다운로드하십시오.
2. 다운로드 된 아카이브를 원하는 폴더로 추출하십시오.
3. bin 폴더를 시스템 경로에 추가하십시오.
   • 시작 검색을 열고 "ENV"를 입력하고 "시스템 환경 변수 편집"을 선택하십시오.
   • 시스템 속성 창에서 "환경 변수"버튼을 클릭하십시오.
   • 환경 변수 창에서 "시스템 변수"섹션에서 Path 변수를 찾아 선택하십시오. "편집"을 클릭하십시오.
   • "새"를 클릭하고 추출 된 ffmpeg 아카이브의 bin 폴더에 경로를 추가하십시오. 변경 사항을 적용하려면 "확인"을 클릭하십시오.

마코스 :

1. 설치하지 않은 경우 Homebrew 설치하십시오. 터미널을 열고 실행하십시오.

   /bin/bash -c " $( curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh ) "

2. Homebrew 사용하여 ffmpeg 설치하십시오.

   brew install ffmpeg

Linux :

1. 데비안 기반 분배 (예 : Ubuntu)의 경우 터미널을 열고 실행하십시오.

   sudo apt update
   sudo apt install ffmpeg

2. Red Hat 기반 배포 (예 : Fedora)의 경우 터미널을 열고 실행하십시오.

   sudo dnf install ffmpeg

설치

1. 저장소 복제 :

   git clone https://github.com/tanbryan/ai-mv-generator
   cd bryan-agent

2. 가상 환경 생성 및 활성화 (선택 사항) :

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

3. 필요한 종속성 설치 :

   pip install -r requirements.txt

4. OpenAI API 키 설정 :

   프로젝트 루트에서 .env 파일을 만들고 OpenAI API 키를 추가하십시오.

    OPENAI_API_KEY = " your_openai_api_key_here " 

용법

1. 기본 스크립트 실행 :

   가사 파일 (.LRC) 및 음악 파일 (.mp3)이 전용 디렉토리 내에 있는지 확인하십시오. ❗️은 'songname-artistname.lrc 또는 .mp3'의 형식으로 두 파일을 모두 기본 스크립트 runner.py 로 이동하여 두 파일에 전체 경로를 추가하십시오. 그런 다음 실행 : 실행하십시오.

   python runner.py

2. 에이전트 실행 및 결과 저장 :

   각 에이전트는 제공된 가사 파일에서 순차적으로 작동합니다.

   • Lyricanalyzeagent : 가사를 분석하고 추가 처리를 위해 그룹화합니다. 결과는 가사 디렉토리의 JSON 파일로 저장됩니다.
   • 양식 : 컨텐츠에 스타일을 분석하고 적용합니다. 기본 스타일 설정은 동일한 JSON 파일에 저장됩니다.
   • Promptagent : 뮤직 비디오 배경 이미지를 만들기위한 상세한 프롬프트를 생성합니다. 스크립트는 생성 된 JSON 파일에서 프롬프트를 생성 한 후 일시 중지됩니다. 검토되면 Enter를 누르면 계속하십시오.
   • ImageAgent : 생성 된 프롬프트를 기반으로 이미지를 생성하여 지정된 디렉토리에 저장합니다.
   • LogoAgent : 다양한 효과로 로고를 생성합니다.
   • VideoAgent : 배경 및 스크롤 가사를 최종 비디오로 컴파일합니다.

   실행 중에 agent_status.json 파일이 Base_agent 디렉토리에서 생성됩니다. 이 파일은 각 에이전트의 상태를 추적합니다. 에이전트가 완료되면 해당 상태가 true 로 설정됩니다. 필요한 경우 특정 에이전트를 다시 실행하기 위해 언제든지 false 로 상태를 설정할 수 있습니다.

3. 생성 된 프롬프트를 검토하십시오.

   프롬프트를 생성 한 후 스크립트가 일시 중지됩니다. 가사 디렉토리 내에서 생성 된 JSON 파일에서 검토하십시오. 검토되면 Enter를 누르면 계속하십시오.

4. 이미지 및 비디오 생성을 완료하십시오.

   프롬프트를 따라 이미지 및 비디오 생성 프로세스를 완료하십시오.

테스트 디렉토리

test 디렉토리에서 실행 후 Taylor Swift 가사 파일의 "Love Story"를 기반으로 샘플 출력을 찾을 수 있습니다.

• LoveStory-TaylorSwift.mp4 : 최종 생성 된 비디오의 미리보기.

lovestory-taylorswift.mp4

• background.mp4 : 사전 생성 된 배경 비디오를 청소하십시오.
• generated_prompts.json : 이미지에 생성 된 상세 프롬프트가 포함 된 JSON 파일.
• logo.png : 뮤직 비디오를위한 생성 된 로고.
• results.json : 각 에이전트의 결과를 포함하는 JSON 파일.
• background_images/ : 프롬프트를 기반으로 생성 된 배경 이미지를 포함하는 폴더.

이 샘플은 시스템에서 기대할 수있는 출력의 예를 제공합니다.

특허

이 프로젝트는 MIT 라이센스에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.