أعلنت شركة Shanghai Jieyue Xingchen Intelligent Technology Co. ، Ltd. مؤخرًا عن المصدر المفتوح لأحدث تطوير طراز الفيديو الرسومي-Step-Video-Ti2v. يعتمد هذا النموذج على تدريب STEP-Video-T2V مع معلمة 30B. يمكن أن يولد 102 إطارًا و 5 ثوانٍ ومقاطع فيديو بدقة 540 بكسل. لديها ميزتان أساسيتان: سعة الحركة التي يمكن التحكم فيها وحركة العدسة التي يمكن التحكم فيها ، خاصة فيما يتعلق بتأثيرات الرسوم المتحركة. بالمقارنة مع نموذج الفيديو المفتوح المصدر الحالي ، لا يوفر STEP-Video-Ti2V حدًا أعلى أعلى في مقياس المعلمة ، ولكن سعة الحركة القابلة للتحكم يمكن أن توازن أيضًا بين ديناميات واستقرار نتائج توليد الفيديو ، مما يوفر للمبدعين خيارات أكثر مرونة.
أثناء تطوير Step-Video-Ti2v ، قام الفريق بتحسين رئيسيين. أولاً ، يتم تقديم ظروف الصورة لتحسين الاتساق بين الفيديو الذي تم إنشاؤه والصورة الأصلية. على عكس طريقة التوترات التقليدية التقليدية ، يتبنى النموذج طريقة أكثر مباشرة ، وربط أبعاد القناة مباشرة عن طريق الربط مباشرة تمثيل المتجه المقابل للإطار الأول من DIT ، وذلك لضمان أن الفيديو الذي تم إنشاؤه متسقًا للغاية مع صورة الإدخال. ثانياً ، تقدم وحدة ADALN معلومات التسجيل الديناميكي للفيديو ، بحيث يمكن للمستخدمين تحديد مستويات حركة مختلفة عند إنشاء مقاطع فيديو ، والتحكم في السعة الديناميكية للفيديو بدقة ، وبالتالي موازنة الديناميات والاستقرار والاتساق. بالإضافة إلى ذلك ، قام الفريق أيضًا بعمل علامات خاصة ودقيقة لحركات الموضوع وحركات العدسات ، مما زاد من تحسين أداء النموذج في ديناميات الموضوع وتأثيرات حركة المرآة.
تتضمن الميزات الأساسية لـ Step-Vide-Ti2V سعة الحركة القابلة للتحكم ، والتحكم المتعدد في المرايا ، وتأثيرات الرسوم المتحركة الممتازة ودعم الجيل متعدد الحجم. يمكن للمستخدمين تبديل الصور الديناميكية والمستقرة بحرية وفقًا لاحتياجاتهم الإبداعية ، وإنشاء مقاطع فيديو من PRASE PUSH-PULL ، والهز ، والرفع والخفض لتأثيرات المرآة على مستوى الفيلم المعقدة. هذا النموذج رائع بشكل خاص في مهام الرسوم المتحركة وهو مناسب جدًا لسيناريوهات التطبيق مثل إنشاء الرسوم المتحركة وإنتاج الفيديو القصير. في الوقت نفسه ، يدعم أحجام متعددة من مقاطع الفيديو التي تم إنشاؤها بواسطة الصور ، سواء كانت شاشة أفقية أو رأسية أو مربعة ، يمكنها تلبية احتياجات منصات مختلفة.
عنوان الخبرة:
https://yuewen.cn/videos
جيثب:
https://github.com/stepfun-ai/step-video-ti2v
Github-comfyui:
https://github.com/stepfun-ai/comfyui-stepvideo