ai mv generator

AI-MV-Generator

Bryan Agents เป็นระบบหลายตัวแทนขั้นสูงที่ออกแบบมาสำหรับการสร้างมิวสิควิดีโอตามเนื้อเพลง โครงการนี้วิเคราะห์เนื้อเพลงและสร้างพรอมต์โดยละเอียดตามผลการวิเคราะห์เพื่อสร้างภาพเหมือนเรื่องราวในที่สุดก็ผลิตมิวสิควิดีโอภาพเป็นภาพ ระบบใช้ประโยชน์จาก OpenAI API โดยเฉพาะรุ่น GPT-4O สำหรับการประมวลผลข้อความและโมเดล Dall-E 3 สำหรับการสร้างภาพเพื่อให้โซลูชันแบบ end-to-end สำหรับการสร้างเนื้อหาวิดีโอ

คุณสมบัติ

• Lyric Analyze Agent : วิเคราะห์เนื้อเพลงและจัดกลุ่มเพื่อการประมวลผลเพิ่มเติม
• ตัวแทนสไตล์ : วิเคราะห์และใช้สไตล์กับเนื้อหา
• ตัวแทนพรอมต์ : สร้างพรอมต์โดยละเอียดสำหรับการสร้างภาพพื้นหลังของมิวสิควิดีโอโดยใช้รุ่น GPT-4O
• Image Agent : สร้างภาพตามพรอมต์ที่สร้างขึ้นโดยใช้โมเดล Dall-E 3
• ตัวแทนโลโก้ : สร้างโลโก้ที่มีเอฟเฟกต์ต่าง ๆ
• ตัวแทนวิดีโอ : รวบรวมรูปภาพโลโก้และเนื้อเพลง Scorlling ลงในวิดีโอสุดท้าย

ข้อกำหนดเบื้องต้น

ก่อนที่คุณจะเริ่มตรวจสอบให้แน่ใจว่าคุณได้ปฏิบัติตามข้อกำหนดต่อไปนี้:

• Python 3.8 หรือสูงกว่า
• ffmpeg ติดตั้งและพร้อมใช้งานในเส้นทางของระบบของคุณ
• ติดตั้งแพ็คเกจ Python ที่จำเป็น

การติดตั้ง ffmpeg

Windows:

1. ดาวน์โหลด ffmpeg จากเว็บไซต์ทางการ
2. แยกคลังเก็บที่ดาวน์โหลดไปยังโฟลเดอร์ที่คุณเลือก
3. เพิ่มโฟลเดอร์ bin ลงในเส้นทางของระบบของคุณ:
   • เปิดการค้นหาเริ่มพิมพ์ใน "env" และเลือก "แก้ไขตัวแปรสภาพแวดล้อมของระบบ"
   • ในหน้าต่างคุณสมบัติของระบบคลิกที่ปุ่ม "ตัวแปรสภาพแวดล้อม"
   • ในหน้าต่างตัวแปรสภาพแวดล้อมค้นหาตัวแปร Path ในส่วน "ตัวแปรระบบ" และเลือก คลิกที่ "แก้ไข"
   • คลิก "ใหม่" และเพิ่มเส้นทางไปยังโฟลเดอร์ bin ของไฟล์เก็บถาวร ffmpeg ที่แยกออกมา คลิก "ตกลง" เพื่อใช้การเปลี่ยนแปลง

macos:

1. ติดตั้ง Homebrew หากคุณไม่ได้ติดตั้ง เปิดเทอร์มินัลแล้วเรียกใช้:

   /bin/bash -c " $( curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh ) "

2. ใช้ Homebrew เพื่อติดตั้ง ffmpeg :

   brew install ffmpeg

Linux:

1. สำหรับการแจกแจงแบบอิงตาม Debian (เช่น Ubuntu) ให้เปิดเทอร์มินัลและเรียกใช้:

   sudo apt update
   sudo apt install ffmpeg

2. สำหรับการแจกแจงแบบใช้หมวกสีแดง (เช่น Fedora) เปิดเทอร์มินัลและเรียกใช้:

   sudo dnf install ffmpeg

การติดตั้ง

1. โคลนที่เก็บ:

   git clone https://github.com/tanbryan/ai-mv-generator
   cd bryan-agent

2. สร้างและเปิดใช้งานสภาพแวดล้อมเสมือนจริง (เป็นทางเลือก):

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

3. ติดตั้งการพึ่งพาที่ต้องการ:

   pip install -r requirements.txt

4. ตั้งค่าคีย์ OpenAI API ของคุณ:

   สร้างไฟล์ .env ในรูทโครงการและเพิ่มคีย์ OpenAI API ของคุณ:

    OPENAI_API_KEY = " your_openai_api_key_here " 

การใช้งาน

1. เรียกใช้สคริปต์หลัก:

   ตรวจสอบให้แน่ใจว่าไฟล์เนื้อเพลง (.lrc) และไฟล์เพลง (.mp3) อยู่ในไดเรกทอรีเฉพาะ ❗โปรดตรวจสอบให้แน่ใจว่าทั้งสองไฟล์มีชื่ออยู่ในรูปแบบของ 'songname-artistname.lrc หรือ. mp3' ไปที่สคริปต์ runner.py และเพิ่มเส้นทางที่สมบูรณ์ของคุณไปยังไฟล์ทั้งสอง: จากนั้นเรียกใช้:

   python runner.py

2. การดำเนินการตัวแทนและการบันทึกผลลัพธ์:

   แต่ละเอเจนต์จะทำงานตามลำดับในไฟล์เนื้อเพลงที่ให้ไว้:

   • Lyricanalyzeagent : วิเคราะห์เนื้อเพลงและจัดกลุ่มเพื่อการประมวลผลเพิ่มเติม ผลลัพธ์จะถูกบันทึกไว้ในไฟล์ JSON ภายในไดเรกทอรีเนื้อเพลง
   • StyleAgent : วิเคราะห์และใช้สไตล์กับเนื้อหา การตั้งค่าสไตล์พื้นฐานจะถูกบันทึกไว้ในไฟล์ JSON เดียวกัน
   • ProftingAgent : สร้างพรอมต์โดยละเอียดสำหรับการสร้างภาพพื้นหลังของมิวสิควิดีโอ สคริปต์จะหยุดชั่วคราวหลังจากสร้างพรอมต์ให้คุณตรวจสอบในไฟล์ JSON ที่สร้างขึ้น เมื่อตรวจสอบแล้วกด Enter เพื่อดำเนินการต่อ
   • ImageAgent : สร้างภาพตามพรอมต์ที่สร้างขึ้นและบันทึกไว้ในไดเรกทอรีที่ระบุ
   • Logagent : สร้างโลโก้ที่มีเอฟเฟกต์ต่าง ๆ
   • VideAagent : รวบรวมพื้นหลังและการเลื่อนเนื้อเพลงลงในวิดีโอสุดท้าย

   ในระหว่างการดำเนินการไฟล์ agent_status.json จะถูกสร้างขึ้นในไดเรกทอรี base_agent ไฟล์นี้ติดตามสถานะของแต่ละเอเจนต์ หากเอเจนต์ใด ๆ เสร็จสิ้นสถานะของมันจะถูกตั้งค่าเป็น true คุณสามารถตั้งค่าสถานะเป็น false เพื่อเรียกใช้เอเจนต์เฉพาะอีกครั้งหากจำเป็น

3. ตรวจสอบพรอมต์ที่สร้างขึ้น:

   สคริปต์จะหยุดชั่วคราวหลังจากสร้างพรอมต์ ตรวจสอบพวกเขาในไฟล์ JSON ที่สร้างขึ้นภายในไดเรกทอรีเนื้อเพลง เมื่อตรวจสอบแล้วกด Enter เพื่อดำเนินการต่อ

4. สร้างภาพและวิดีโอให้เสร็จสมบูรณ์:

   ทำตามพรอมต์เพื่อให้กระบวนการสร้างภาพและวิดีโอเสร็จสมบูรณ์

ไดเรกทอรีทดสอบ

ในไดเรกทอรี test หลังจากทำงานแล้วคุณจะพบเอาต์พุตตัวอย่างตาม "เรื่องราวความรัก" โดยไฟล์เนื้อเพลง Taylor Swift:

• LoveStory-TaylorSwift.mp4 : ตัวอย่างของวิดีโอที่สร้างขึ้นสุดท้าย

lovestory-taylorswift.mp4

• background.mp4 : ทำความสะอาดวิดีโอพื้นหลังที่สร้างขึ้นล่วงหน้า
• generated_prompts.json : ไฟล์ JSON ที่มีพรอมต์โดยละเอียดที่สร้างขึ้นสำหรับภาพ
• logo.png : โลโก้ที่สร้างขึ้นสำหรับมิวสิควิดีโอ
• results.json : ไฟล์ JSON ที่มีผลลัพธ์จากแต่ละเอเจนต์
• background_images/ : โฟลเดอร์ที่มีภาพพื้นหลังที่สร้างขึ้นตามพรอมต์

ตัวอย่างเหล่านี้เป็นตัวอย่างของผลลัพธ์ที่คุณคาดหวังจากระบบ

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT ดูไฟล์ใบอนุญาตสำหรับรายละเอียด