الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

يدق الذكاء الاصطناعي

لقد كتبت منشورًا في المدونة يصف هذا المشروع بمزيد من التفصيل ، تأكد من التحقق من "كيفية إنشاء مقاطع الموسيقى مع الذكاء الاصطناعي" لمعرفة المزيد!

مع هذا المشروع ، يمكنك استخدام AI لإنشاء مسارات الموسيقى ومقاطع الفيديو. قدم بعض المعلومات حول كيفية رغبتك في الموسيقى ومقاطع الفيديو ، وسوف يقوم الرمز بالباقي.

سير عمل توليد الموسيقى

أولاً ، نستخدم نموذجًا توليديًا لإنشاء عينات موسيقية ، فإن النموذج الافتراضي المستخدم هنا قادر فقط على إنشاء بحد أقصى 30 ثانية من الموسيقى ، لهذا السبب ، نأخذ خطوة أخرى لتوسيع الموسيقى. بعد الانتهاء من الجزء الصوتي ، يمكننا إنشاء الفيديو ، أولاً ، نبدأ بنموذج نشر مستقر لإنشاء صور ثم نستخدم نموذجًا توليديًا آخر لإعطائه القليل من الحركة والرسوم المتحركة. لتكوين مقطع الفيديو النهائي ، نأخذ كل موسيقى تم إنشاؤها والانضمام إلى العديد من الصور المتحركة حسب الضرورة لمطابقة طول الموسيقى.

ستقوم كل هذه الخطوات بإنشاء ملفات وسيطة يمكنك فحصها وإزالة ما لا تحب تحسين النتائج يدويًا.

أمثلة

الذكاء الاصطناعي يدق المجلد. 1

الذكاء الاصطناعي يدق المجلد. 2

الاستخدام

النهج الموصى به لاستخدام هذا المستودع هو مع Docker ، ولكن يمكنك أيضًا استخدام VenV مخصص ، فقط تأكد من تثبيت جميع التبعيات.

ملاحظة: تأكد من تحديث الجهاز Param لزيادة الأداء إلى الحد الأقصى ، ولكن لاحظ أن بعض النماذج قد لا تعمل مع جميع خيارات الأجهزة (وحدة المعالجة المركزية ، CUDA ، MPS).

سير عمل التطبيق

  1. توليد الموسيقى: قم بإنشاء مسارات الموسيقى الأولية
  2. استمرار الموسيقى: قم بتوسيع مسارات الموسيقى الأولية إلى مدة أطول
  3. توليد الصور: قم بإنشاء الصور التي سيتم استخدامها لملء مقطع الفيديو
  4. توليد الفيديو: قم بإنشاء رسوم متحركة من الصور لتكوين مقاطع فيديو
  5. إنشاء مقطع الفيديو: انضم إلى مقاطع فيديو متعددة معًا لمرافقة مسارات الموسيقى

التكوينات 

 project_dir: beats
project_name: lofi
seed: 42
music:
  prompt: "lo-fi music with a relaxing slow melody"
  model_id: facebook/musicgen-small
  device: cpu
  n_music: 5
  music_duration: 60
  initial_music_tokens: 1050
  max_continuation_duration: 20
  prompt_music_duration: 10
image:
  prompt: "Mystical Landscape"
  prompt_modifiers: 
    - "concept art, HQ, 4k"
    - "epic scene, cinematic, sci fi cinematic look, intense dramatic scene"
    - "digital art, hyperrealistic, fantasy, dark art"
    - "digital art, hyperrealistic, sense of comsmic wonder"
    - "mystical and ethereal atmosphere, photo taken with a wide-angle lens"
  model_id: stabilityai/sdxl-turbo
  device: mps
  n_images: 5
  inference_steps: 3
  height: 576
  width: 1024
video:
  model_id: stabilityai/stable-video-diffusion-img2vid
  device: cpu
  n_continuations: 2
  loop_video: true
  video_fps: 6
  decode_chunk_size: 8
  motion_bucket_id: 127
  noise_aug_strength: 0.1
audio_clip:
  n_music_loops: 1
  • Project_dir : مجلد سيستضيف جميع مشاريعك
  • Project_name : اسم المشروع والمجلد الرئيسي
  • البذور : البذور تستخدم للتحكم في العشوائية في النماذج
  • موسيقى
    • موجه: موجه النص المستخدم لإنشاء الموسيقى
    • Model_id: نموذج يستخدم لإنشاء وتوسيع مسارات الموسيقى
    • الجهاز : جهاز يستخدمه النموذج ، وعادة ما يكون أحد (CPU ، CUDA ، MPS)
    • N_Music: عدد مسارات الموسيقى التي سيتم إنشاؤها
    • music_duration: طول المدة للموسيقى النهائية
    • initial_music_tokens: طول المدة للموسيقى الأولية (في الرموز)
    • max_continuation_duration: الحد الأقصى لطول كل قطاع موسيقى ممتد
    • report_music_duration: طول الموسيقى الأساسية المستخدمة لإنشاء الامتداد
  • صورة
    • موجه: موجه النص المستخدم لإنشاء الصور
    • report_modifiers: المعدلات المطالبة المستخدمة لتغيير نمط الصورة
    • Model_id: نموذج يستخدم لإنشاء الصور
    • الجهاز : جهاز يستخدمه النموذج ، وعادة ما يكون أحد (CPU ، CUDA ، MPS)
    • n_images: عدد الصور التي سيتم إنشاؤها
    • Inference_steps: عدد خطوات الاستدلال لنموذج الانتشار
    • الارتفاع: ارتفاع الصورة المولدة
    • العرض: عرض الصورة المولدة
  • فيديو
    • Model_id: نموذج يستخدم لتحريك الصور
    • الجهاز : جهاز يستخدمه النموذج ، وعادة ما يكون أحد (CPU ، CUDA ، MPS)
    • N_Continuations: عدد شرائح الرسوم المتحركة التي سيتم إنشاؤها
    • LOOP_VIDEO: إذا كان كل مقطع فيديو موسيقي قد تم حلقه
    • video_fps: إطارات في الثانية من كل مقطع فيديو
    • decode_chunk_size: معلمة حجم وحدة فك تشفير الفيديو
    • MOTION_BUCKET_ID: معلمة معرف دلو حركة نشر الفيديو
    • noise_aug_strength: معلمة قوة ضوضاء نشر الفيديو
  • Audio_clip
    • N_MUSIC_LOOPS: عدد المرات لحلق كل مسار موسيقى

الأوامر

بناء صورة Docker 

make build

تطبيق الوبر والتنسيق على الرمز (اللازم فقط للتنمية) 

make lint

قم بتشغيل خط الأنابيب بأكمله لإنشاء الفيديو الموسيقي 

make ai_beats

قم بتشغيل خطوة توليد الموسيقى 

make music

قم بتشغيل خطوة استمرار الموسيقى 

make music_continuation

قم بتشغيل خطوة توليد الصور 

make image

قم بتشغيل خطوة توليد الفيديو 

make video

قم بتشغيل خطوة إنشاء مقطع الصوت 

make audio_clip

تطوير

للتطور ، تأكد من تثبيت requirements-dev.txt وتشغيل make lint للحفاظ على نمط الترميز.

متطلبات

لقد قمت بتطوير واختبرت معظم هذا المشروع على جهاز MacBook Pro M2 الخاص بي ، والخطوة الوحيدة التي لم أتمكن من تشغيلها هي خطوة إنشاء الفيديو ، لذلك استخدمت Google Colab (مع V100 أو A100 GPU). لم يتم تشغيل بعض النماذج على MPS ولكنها تعمل في وقت معقول على أي حال.

إخلاء المسئولية

تحتوي النماذج المستخدمة بشكل افتراضي هنا على تراخيص محددة قد لا تكون مناسبة لجميع حالات الاستخدام ، إذا كنت ترغب في استخدام نفس النماذج ، فتأكد من التحقق من تراخيصها. بالنسبة إلى Music Generation MusicGen وترخيص CC-BY-NC 4.0 ، لتوليد الصور SDXL-TURBO وترخيص الترخيص sdxl1.0 ، وانتشار الفيديو المستقر ورخصة ترخيص المجتمع المستقر للفيديو NC لتوليد الفيديو.

مراجع

  • MusicGen
  • SDXL-TURBO
  • انتشار فيديو مستقر
  • نشر الفيديو المستقر - نصائح الاستخدام
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل