ai_beats
1.0.0
이 프로젝트를 사용하면 AI를 사용하여 음악 트랙과 비디오 클립을 생성 할 수 있습니다. 음악과 비디오를 원하는 방법에 대한 정보를 제공하면 코드가 나머지를 수행합니다.
먼저 생성 모델을 사용하여 음악 샘플을 만듭니다. 여기에서 사용 된 기본 모델은 최대 30 초의 음악 만 생성 할 수 있습니다. 이러한 이유로 음악을 확장하기위한 또 다른 단계를 수행합니다. 오디오 부품을 마친 후 비디오를 생성 할 수 있습니다. 먼저 이미지를 생성하기 위해 안정적인 확산 모델로 시작한 다음 다른 생성 모델을 사용하여 약간의 움직임과 애니메이션을 제공합니다. 최종 비디오 클립을 작성하기 위해 각 생성 된 음악을 가져 와서 음악의 길이와 일치하는 데 필요한 많은 애니메이션 이미지와 함께 참여합니다.
이 모든 단계는 결과를 개선하고 싶지 않은 것을 검사하고 수동으로 제거 할 수있는 중간 파일을 생성합니다.
이 저장소를 사용하는 것이 권장되는 접근 방식은 Docker와 함께 있지만 사용자 정의 Venv를 사용할 수도 있습니다. 모든 종속성을 설치하십시오.
참고 : 성능을 극대화하기 위해 장치 매개 변수를 업데이트하십시오. 그러나 일부 모델은 모든 장치 옵션 (CPU, CUDA, MP)에서 작동하지 않을 수 있습니다.
project_dir: beats
project_name: lofi
seed: 42
music:
prompt: "lo-fi music with a relaxing slow melody"
model_id: facebook/musicgen-small
device: cpu
n_music: 5
music_duration: 60
initial_music_tokens: 1050
max_continuation_duration: 20
prompt_music_duration: 10
image:
prompt: "Mystical Landscape"
prompt_modifiers:
- "concept art, HQ, 4k"
- "epic scene, cinematic, sci fi cinematic look, intense dramatic scene"
- "digital art, hyperrealistic, fantasy, dark art"
- "digital art, hyperrealistic, sense of comsmic wonder"
- "mystical and ethereal atmosphere, photo taken with a wide-angle lens"
model_id: stabilityai/sdxl-turbo
device: mps
n_images: 5
inference_steps: 3
height: 576
width: 1024
video:
model_id: stabilityai/stable-video-diffusion-img2vid
device: cpu
n_continuations: 2
loop_video: true
video_fps: 6
decode_chunk_size: 8
motion_bucket_id: 127
noise_aug_strength: 0.1
audio_clip:
n_music_loops: 1
Docker 이미지를 작성하십시오
make build보풀 및 서식을 코드에 적용합니다 (개발에만 필요)
make lint전체 파이프 라인을 실행하여 뮤직 비디오를 만듭니다
make ai_beats음악 생성 단계를 실행하십시오
make music음악 연속 단계를 실행하십시오
make music_continuation이미지 생성 단계를 실행하십시오
make image비디오 생성 단계를 실행하십시오
make video오디오 클립 생성 단계를 실행하십시오
make audio_clip 개발을 위해 요구 requirements-dev.txt 설치하고 make lint 유지하여 코딩 스타일을 유지하십시오.
MacBook Pro M2 에서이 프로젝트의 대부분을 개발하고 테스트했습니다. 실행할 수 없었던 유일한 단계는 비디오 제작 단계였습니다. Google Colab (V100 또는 A100 GPU와 함께)을 사용했기 때문입니다. 일부 모델은 MPS 에서 실행할 수 없었지만 어쨌든 합리적인 시간에 실행됩니다.
기본적으로 사용되는 모델에는 모든 사용 사례에 적합하지 않은 특정 라이센스가 있습니다. 동일한 모델을 사용하려면 라이센스를 확인하십시오. Music Generation MusicGen 및 CC-By-NC 4.0 라이센스의 경우 이미지 생성 SDXL-Turbo 및 라이센스 SDXL1.0 라이센스 및 비디오 생성을위한 안정적인 비디오 확산 및 안정적인 비디오 확산 NC 커뮤니티 라이센스 라이센스.
