ai_beats
1.0.0
このプロジェクトを使用すると、AIを使用して音楽トラックとビデオクリップを生成できます。音楽やビデオがどのように希望するかについての情報を提供してください。コードは残りを行います。
まず、生成モデルを使用して音楽サンプルを作成します。ここで使用されるデフォルトモデルは、30秒の音楽の最大を生成できます。このため、音楽を拡張するための別のステップを踏みます。オーディオパーツを終えた後、ビデオを生成することができます。まず、安定した拡散モデルから始めて画像を生成し、別の生成モデルを使用して、少し動きとアニメーションを提供します。最終的なビデオクリップを作成するために、各生成された音楽を撮影し、音楽の長さに合わせて必要な数のアニメーション画像と一緒に参加します。
これらの手順はすべて、結果を改善するのが嫌いなものを検査して削除できる中間ファイルを生成します。
このリポジトリを使用するための推奨されるアプローチはDockerを使用していますが、カスタムVENVを使用することもできます。すべての依存関係をインストールしてください。
注：パフォーマンスを最大化するためにデバイスパラメーションを更新するようにしてください。ただし、一部のモデルはすべてのデバイスオプション（CPU、CUDA、MPS）で機能しない可能性があることに注意してください。
project_dir: beats
project_name: lofi
seed: 42
music:
prompt: "lo-fi music with a relaxing slow melody"
model_id: facebook/musicgen-small
device: cpu
n_music: 5
music_duration: 60
initial_music_tokens: 1050
max_continuation_duration: 20
prompt_music_duration: 10
image:
prompt: "Mystical Landscape"
prompt_modifiers:
- "concept art, HQ, 4k"
- "epic scene, cinematic, sci fi cinematic look, intense dramatic scene"
- "digital art, hyperrealistic, fantasy, dark art"
- "digital art, hyperrealistic, sense of comsmic wonder"
- "mystical and ethereal atmosphere, photo taken with a wide-angle lens"
model_id: stabilityai/sdxl-turbo
device: mps
n_images: 5
inference_steps: 3
height: 576
width: 1024
video:
model_id: stabilityai/stable-video-diffusion-img2vid
device: cpu
n_continuations: 2
loop_video: true
video_fps: 6
decode_chunk_size: 8
motion_bucket_id: 127
noise_aug_strength: 0.1
audio_clip:
n_music_loops: 1
Docker画像を作成します
make build糸くずとフォーマットをコードに適用します（開発にのみ必要です）
make lintパイプライン全体を実行して、ミュージックビデオを作成します
make ai_beats音楽生成ステップを実行します
make music音楽の継続ステップを実行します
make music_continuation画像生成ステップを実行します
make imageビデオ生成ステップを実行します
make videoオーディオクリップの作成ステップを実行します
make audio_clip開発のために、必ずrequirements-dev.txtをインストールし、 make lintを作成してコーディングスタイルを維持してください。
MacBook Pro M2でこのプロジェクトの大部分を開発してテストしましたが、実行できなかった唯一のステップはビデオ作成ステップでした。一部のモデルはMPSで実行できませんでしたが、とにかく合理的な時間に実行されます。
ここでデフォルトで使用するモデルには、同じモデルを使用する場合は、ライセンスを確認する場合は、すべてのユースケースに適していない特定のライセンスがあります。 Music Generation MusicGenとそのCC-BY-NC 4.0ライセンス、Image Generation SDXL-TurboおよびそのライセンスSDXL1.0ライセンス、および安定したビデオ拡散とその安定したビデオ拡散NCコミュニティライセンスライセンスのビデオ生成。
