ai mv generator

AI-MV-Generator

Bryan Agents هو نظام متقدم متعدد الوكلاء مصمم لإنشاء مقاطع فيديو موسيقية على أساس كلمات. يقوم هذا المشروع بتحليل كلمات الأغاني وإنشاء مطالبات مفصلة بناءً على نتائج التحليل لإنشاء صور تشبه القصة ، مما يؤدي في النهاية إلى إنتاج فيديو موسيقي صورة إلى صورة. يستفيد النظام من Openai API ، وتحديداً نموذج GPT-4O لمعالجة النص ونموذج Dall-E 3 لتوليد الصور ، لتوفير حل شامل لإنشاء محتوى الفيديو.

سمات

• Lyric Analyse Agent : تحليل كلمات ومجموعاتها لمزيد من المعالجة.
• وكيل النمط : تحليل وتطبيق الأنماط على المحتوى.
• عميل موجه : يقوم بإنشاء مطالبات مفصلة لإنشاء صور خلفية الفيديو الموسيقية باستخدام طراز GPT-4O.
• وكيل الصور : يقوم بإنشاء صور بناءً على المطالبات التي تم إنشاؤها باستخدام نموذج DALL-E 3.
• وكيل الشعار : يولد شعارات ذات تأثيرات مختلفة.
• وكيل الفيديو : يجمع الصور التي تم إنشاؤها والشعارات وكلمات Scorlling إلى مقطع فيديو نهائي.

المتطلبات الأساسية

قبل البدء ، تأكد من استوفت المتطلبات التالية:

• بيثون 3.8 أو أعلى
• ffmpeg مثبتة ومتاحة في مسار نظامك
• مطلوب حزم بيثون مثبتة

تثبيت ffmpeg

Windows:

1. قم بتنزيل ffmpeg من الموقع الرسمي.
2. استخراج الأرشيف الذي تم تنزيله إلى مجلد من اختيارك.
3. أضف مجلد bin إلى مسار نظامك:
   • افتح START Search ، واكتب "ENV" ، وحدد "تحرير متغيرات بيئة النظام".
   • في نافذة خصائص النظام ، انقر فوق الزر "متغيرات البيئة".
   • في نافذة متغيرات البيئة ، ابحث عن متغير Path في قسم "متغيرات النظام" وحدده. انقر على "تحرير".
   • انقر فوق "جديد" وأضف المسار إلى مجلد bin لأرشيف ffmpeg المستخرج. انقر فوق "موافق" لتطبيق التغييرات.

ماكوس:

1. قم بتثبيت Homebrew إذا لم يتم تثبيته. افتح الجهاز وتشغيله:

   /bin/bash -c " $( curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh ) "

2. استخدم Homebrew لتثبيت ffmpeg :

   brew install ffmpeg

لينكس:

1. للتوزيعات المستندة إلى دبيان (على سبيل المثال ، Ubuntu) ، افتح المحطة وتشغيلها:

   sudo apt update
   sudo apt install ffmpeg

2. للتوزيعات القائمة على القبعة الحمراء (على سبيل المثال ، فيدورا) ، افتح المحطة وتشغيلها:

   sudo dnf install ffmpeg

تثبيت

1. استنساخ المستودع:

   git clone https://github.com/tanbryan/ai-mv-generator
   cd bryan-agent

2. إنشاء وتفعيل بيئة افتراضية (اختياري):

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

3. تثبيت التبعيات المطلوبة:

   pip install -r requirements.txt

4. قم بإعداد مفتاح API Openai:

   قم بإنشاء ملف .env في جذر المشروع وأضف مفتاح API Openai:

    OPENAI_API_KEY = " your_openai_api_key_here " 

الاستخدام

1. قم بتشغيل البرنامج النصي الرئيسي:

   تأكد من وجود ملف كلمات (.lrc) وملف الموسيقى (.mp3) داخل دليل مخصص. please تأكد من تسمية كلا الملفين بتنسيق "songname-artistname.lrc أو .mp3 'انتقل إلى runner.py الرئيسي وأضف مساراتك الكاملة إلى كلا الملفين: ثم تشغيل:

   python runner.py

2. تنفيذ الوكيل وحفظ النتائج:

   سيعمل كل وكيل بشكل متتابع على ملف كلمات المقدمة:

   • LyricanalyzeAgent : تحليل كلماتها وتجمعها لمزيد من المعالجة. سيتم حفظ النتائج في ملف JSON داخل دليل كلمات.
   • StyleAgent : تحليل وتطبيق الأنماط على المحتوى. سيتم حفظ إعدادات النمط الأساسي في نفس ملف JSON.
   • Promsagent : يولد مطالبات مفصلة لإنشاء صور خلفية الفيديو الموسيقية. سوف يتوقف البرنامج النصي بعد إنشاء المطالبات لك لمراجعتها في ملف JSON الذي تم إنشاؤه. بمجرد المراجعة ، اضغط على Enter للمتابعة.
   • ImageAgent : ينشئ صورًا بناءً على المطالبات التي تم إنشاؤها وإنقاذها في الدليل المحدد.
   • Logoagent : يولد شعارات ذات تأثيرات مختلفة.
   • VideoAgent : يجمع الخلفية والتمرير في مقطع فيديو نهائي.

   أثناء التنفيذ ، سيتم إنشاء ملف agent_status.json في دليل base_agent. يتتبع هذا الملف حالة كل وكيل. في حالة الانتهاء من أي وكيل ، سيتم ضبط حالته على true . يمكنك دائمًا تعيين الحالة على false لإعادة تشغيل وكيل معين إذا لزم الأمر.

3. مراجعة المطالبات التي تم إنشاؤها:

   سوف يتوقف البرنامج النصي بعد إنشاء المطالبات. راجعها في ملف JSON الذي تم إنشاؤه داخل دليل كلمات. بمجرد المراجعة ، اضغط على Enter للمتابعة.

4. أكمل توليد الصورة والفيديو:

   اتبع المطالبات لإكمال عملية توليد الصور والفيديو.

دليل الاختبار

في دليل test ، بعد الجري ، ستجد عينة مخرجات بناءً على "قصة الحب" التي كتبها ملفات Taylor Swift:

• LoveStory-TaylorSwift.mp4 : معاينة الفيديو الذي تم إنشاؤه النهائي.

Lovestory-taylorswift.mp4

• background.mp4 : نظافة فيديو خلفية تم إنشاؤها مسبقًا.
• generated_prompts.json : ملف JSON يحتوي على المطالبات التفصيلية التي تم إنشاؤها للصور.
• logo.png : الشعار الذي تم إنشاؤه للفيديو الموسيقي.
• results.json : ملف JSON يحتوي على نتائج كل وكيل.
• background_images/ : مجلد يحتوي على صور الخلفية التي تم إنشاؤها بناءً على المطالبات.

توفر هذه العينات مثالاً على الإخراج الذي يمكنك توقعه من النظام.

رخصة

هذا المشروع مرخص بموجب ترخيص معهد ماساتشوستس للتكنولوجيا. انظر ملف الترخيص للحصول على التفاصيل.