Shanghai Jieyue Xingchen Technology Technology Co. , Ltd. เพิ่งประกาศแหล่งที่มาของการพัฒนารุ่นล่าสุดของโมเดลวิดีโอกราฟิก-Step-Video-TI2V รุ่นนี้ขึ้นอยู่กับการฝึกอบรมขั้นตอน VIDEO-T2V ด้วยพารามิเตอร์ 30B มันสามารถสร้าง 102 เฟรม, 5 วินาทีและวิดีโอความละเอียด 540p มันมีคุณสมบัติหลักสองประการ: แอมพลิจูดการเคลื่อนไหวที่ควบคุมได้และการเคลื่อนที่ของเลนส์ที่ควบคุมได้โดยเฉพาะอย่างยิ่งในแง่ของเอฟเฟกต์ภาพเคลื่อนไหว เมื่อเปรียบเทียบกับโมเดลวิดีโอโอเพนซอร์สที่มีอยู่แล้วขั้นตอนที่ผ่านมา Video-TI2V ไม่เพียง แต่ให้ขีด จำกัด สูงสุดในระดับพารามิเตอร์ แต่แอมพลิจูดการเคลื่อนไหวที่สามารถควบคุมได้ยังสามารถสร้างความสมดุลระหว่างการเปลี่ยนแปลงและความเสถียรของผลลัพธ์การสร้างวิดีโอทำให้ผู้สร้างมีตัวเลือกที่ยืดหยุ่นมากขึ้น
ในระหว่างการพัฒนาขั้นตอน Video-TI2V ทีมได้ดำเนินการเพิ่มประสิทธิภาพที่สำคัญสองครั้ง ขั้นแรกให้มีการแนะนำเงื่อนไขของภาพเพื่อปรับปรุงความสอดคล้องระหว่างวิดีโอที่สร้างขึ้นและภาพต้นฉบับ ซึ่งแตกต่างจากวิธีการแทรกข้ามแบบดั้งเดิมแบบจำลองใช้วิธีโดยตรงมากขึ้นการประกบขนาดช่องโดยตรงโดยการประกบการแสดงเวกเตอร์โดยตรงที่สอดคล้องกับเฟรมแรกของ DIT เพื่อให้แน่ใจว่าวิดีโอที่สร้างขึ้นนั้นสอดคล้องกับภาพอินพุต ประการที่สองโมดูล Adaln แนะนำข้อมูลการให้คะแนนวิดีโอแบบไดนามิกเพื่อให้ผู้ใช้สามารถระบุระดับการเคลื่อนไหวที่แตกต่างกันเมื่อสร้างวิดีโอควบคุมแอมพลิจูดแบบไดนามิกของวิดีโอได้อย่างแม่นยำซึ่งจะเป็นการปรับสมดุลพลวัตความเสถียรและความสอดคล้อง นอกจากนี้ทีมยังทำเครื่องหมายพิเศษและแม่นยำของการเคลื่อนไหวของเรื่องและการเคลื่อนไหวของเลนส์เพื่อปรับปรุงประสิทธิภาพของโมเดลในการเปลี่ยนแปลงของเรื่องและเอฟเฟกต์การเคลื่อนไหวของกระจก
คุณสมบัติหลักของ Step-Video-TI2V รวมถึงแอมพลิจูดการเคลื่อนไหวที่ควบคุมได้การควบคุมกระจกหลายตัวเอฟเฟกต์ภาพเคลื่อนไหวที่ยอดเยี่ยมและการสนับสนุนสำหรับการสร้างหลายขนาด ผู้ใช้สามารถสลับรูปภาพแบบไดนามิกและเสถียรได้อย่างอิสระตามความต้องการสร้างสรรค์และสร้างวิดีโอจากการผลักดันขั้นพื้นฐานการเขย่าการยกและลดเอฟเฟกต์กระจกระดับภาพยนตร์ที่ซับซ้อน โมเดลนี้มีความโดดเด่นเป็นพิเศษในงานแอนิเมชั่นและเหมาะสำหรับสถานการณ์แอปพลิเคชันเช่นการสร้างภาพเคลื่อนไหวและการผลิตวิดีโอสั้น ๆ ในขณะเดียวกันก็รองรับวิดีโอที่สร้างภาพหลายขนาดไม่ว่าจะเป็นหน้าจอแนวนอนแนวตั้งหรือสี่เหลี่ยมจัตุรัสสามารถตอบสนองความต้องการของแพลตฟอร์มที่แตกต่างกัน
ที่อยู่ประสบการณ์:
https://yuewen.cn/videos
GitHub:
https://github.com/stepfun-ai/step-video-ti2v
github-comfyui:
https://github.com/stepfun-ai/comfyui-stepvideo