AnimateDiff_Serverless_Runpod

Animatediff_serverless_runpod

1. บทนำ

นี่คือแอปพลิเคชั่นที่ไม่มีเซิร์ฟเวอร์ที่ใช้ภาพเคลื่อนไหวเพื่อเรียกใช้งาน text-to-video บน runpod

ดูเพิ่มเติม SDXL_SERVERLESS_RUNPOD สำหรับงาน Text-to-Imgae

Serverless หมายความว่าคุณจะถูกเรียกเก็บเงินเท่านั้นในเวลาที่คุณใช้แอปพลิเคชันและคุณไม่จำเป็นต้องจ่ายเงินสำหรับเวลาว่างซึ่งเหมาะสำหรับแอปพลิเคชันประเภทนี้ที่ไม่ได้ใช้บ่อย แต่ต้องตอบสนองอย่างรวดเร็ว

ในทางทฤษฎีแอปพลิเคชันนี้สามารถเรียกได้โดยแอปพลิเคชันอื่น ๆ ที่นี่เรามีสองตัวอย่าง:

1. สคริปต์ Python ง่ายๆ
2. บอทโทรเลข

ดูการใช้งานด้านล่างสำหรับรายละเอียดเพิ่มเติม

ตัวอย่างผลลัพธ์:

พรอมต์อินพุต: (สุ่มเมล็ด: 445608568)

 1girl, focus on face, offshoulder, light smile, shiny skin, best quality, masterpiece, photorealistic

ผลลัพธ์: (ต้นฉบับ | Panleft, 28 ขั้นตอน, 768x512, ประมาณ 60 วินาทีบน RTX 3090, 0.015 $? บน runpod)

example_result_person_445608568.mp4

พรอมต์อินพุต: (สุ่มเมล็ด: 195577361)

 photo of coastline, rocks, storm weather, wind, waves, lightning, 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3

ผลลัพธ์: (ต้นฉบับ | Zoomout, 28 ขั้นตอน, 768x512, ประมาณ 60 วินาทีบน RTX 3090, 0.015 $? บน runpod)

example_result_scene_195577361.mp4

คำอธิบายการวัดเวลา:

เวลาถูกวัดจากช่วงเวลาที่พรอมต์อินพุตจะถูกส่งไปยังช่วงเวลาที่ได้รับภาพผลลัพธ์รวมถึงเวลาสำหรับขั้นตอนทั้งหมดต่อไปนี้:

• รับคำขอจากลูกค้า
• การเริ่มต้นคอนเทนเนอร์แบบไม่มีเซิร์ฟเวอร์
• การโหลดแบบจำลอง
• การอนุมาน
• การส่งภาพผลลัพธ์กลับไปยังไคลเอนต์

2. การพึ่งพา

• Python> = 3.9
• นักเทียบท่า
• GPU ในท้องถิ่นเป็นสิ่งจำเป็นสำหรับการทดสอบ แต่ไม่จำเป็นสำหรับการปรับใช้ (แนะนำ: RTX 3090)

หากคุณไม่มี GPU คุณสามารถแก้ไขและทดสอบรหัสบน Google Colab จากนั้นสร้างและปรับใช้แอปพลิเคชันบน Runpod

ตัวอย่างสมุดบันทึก: ลิงก์

3. การใช้งาน

1. ทดสอบบนเครื่องท้องถิ่น

 # Install dependencies
pip install -r requirements.txt

# Download models
python scripts/download.py

# Edit (or not) config to customize your inference, e.g., change base model, lora model, motion lora model, etc.
rename inference_v2(example).yaml to inference_v2.yaml

# Run inference test
python inference_util.py

# Run server.py local test
python server.py

ในระหว่างการดาวน์โหลดหากคุณพบข้อผิดพลาดเช่น "gdown.exceptions.fileurlretrievalerror: ไม่สามารถดึงลิงก์สาธารณะของไฟล์ได้" การติดตั้งแพ็คเกจ GDOWN ใหม่โดยใช้ "PIP Install-Upgrade-No-Cache-Dir Gdown"

2. ปรับใช้บน runpod

1. ก่อนอื่นตรวจสอบให้แน่ใจว่าคุณได้ติดตั้ง Docker และมีบัญชีทั้งบน DockerHub และ Runpod

2. จากนั้นตัดสินใจชื่อสำหรับภาพนักเทียบท่าของคุณเช่น "your_username/anidiff: v1" และตั้งชื่อภาพของคุณใน "./scripts/build.sh"

3. เรียกใช้คำสั่งต่อไปนี้เพื่อสร้างและผลักดันภาพนักเทียบท่าของคุณไปที่ DockerHub

Bash Scripts/build.sh

4. สุดท้ายปรับใช้แอปพลิเคชันของคุณบน RunPod เพื่อสร้างเทมเพลตและจุดสิ้นสุด

ขออภัยที่ไม่ได้ให้คำแนะนำโดยละเอียดที่นี่เนื่องจากผู้เขียนค่อนข้างยุ่งเมื่อเร็ว ๆ นี้ คุณสามารถค้นหาคำแนะนำโดยละเอียดมากมายเกี่ยวกับ Google เกี่ยวกับวิธีการปรับใช้อิมเมจนักเทียบท่าบน runpod

อย่าลังเลที่จะติดต่อฉันหากคุณพบปัญหาใด ๆ หลังจากค้นหาใน Google

3. โทรหาแอปพลิเคชัน

โทรจากสคริปต์ Python

 # Make sure to set API key and endpoint ID before running the script.
python test_client.py

Showcase: โทรจากบอทโทรเลข

4. สิ่งที่ต้องทำ

• รองรับโมเดลพื้นฐานเฉพาะสำหรับวัตถุประสงค์ที่แตกต่างกัน (บุคคลและฉาก)
• รองรับรุ่น LORA (แก้ไขไฟล์ yaml และวางโมเดลของคุณใน "./models/dreambooth_lora")
• รองรับโมเดล Lora Motion (แก้ไขได้ในไฟล์ yaml ดูที่นี่สำหรับรายละเอียดและดาวน์โหลด)
• คำแนะนำโดยละเอียดเพิ่มเติม
• คลิกเดียว (ถ้าใครสนใจ ... )

4. การรับทราบ

ขอบคุณ Animatediff และ Runpod