Site Web officiel www.binance.com/ZH-CN :Entrez le site officiel ☜☜
Application: ☞☞Official App Download☜☜
Shanghai Jieyue Xingchen Intelligent Technology Co., Ltd. a récemment annoncé l'open source de son dernier développement du modèle vidéo graphique - Step-video-ti2v. Ce modèle est basé sur une formation étape-vidéo-T2V avec des paramètres 30B. Il peut générer 102 images, 5 secondes et des vidéos de résolution 540p. Il a deux caractéristiques de base: l'amplitude de mouvement contrôlable et le mouvement contrôlable de l'objectif, en particulier en termes d'effets d'animation. Par rapport au modèle vidéo open source existant, Step-Video-Ti2V fournit non seulement une limite supérieure plus élevée dans l'échelle des paramètres, mais son amplitude de mouvement contrôlable peut également équilibrer la dynamique et la stabilité des résultats de la génération de vidéos, fournissant aux créateurs des choix plus flexibles.
Au cours du développement de la vidéo-video-ti2v, l'équipe a effectué deux optimisations clés. Premièrement, les conditions d'image sont introduites pour améliorer la cohérence entre la vidéo générée et l'image d'origine. Contrairement à la méthode traditionnelle de l'attention croisée, le modèle adopte une manière plus directe, épissant directement les dimensions du canal en épissant directement la représentation vectorielle correspondant à la première image de DIT, afin de s'assurer que la vidéo générée est très cohérente avec l'image d'entrée. Deuxièmement, le module ADALN introduit des informations de notation de dynamique vidéo, afin que les utilisateurs puissent spécifier différents niveaux de mouvement lors de la génération de vidéos, contrôlent avec précision l'amplitude dynamique de la vidéo, équilibrant ainsi la dynamique, la stabilité et la cohérence. De plus, l'équipe a également fait des marqueurs spéciaux et précis des mouvements de sujet et des mouvements de l'objectif, améliorant davantage les performances du modèle dans la dynamique des sujets et les effets de mouvement miroir.
Les caractéristiques principales de la vidéo-video-ti2v incluent une amplitude de mouvement contrôlable, un contrôle multiple des miroirs, d'excellents effets d'animation et une prise en charge de la génération multi-taille. Les utilisateurs peuvent changer librement des images dynamiques et stables en fonction de leurs besoins créatifs, et générer des vidéos à partir de push-pull, de tremblements de base, de levage et de baisse des effets miroir au niveau du film complexes. Ce modèle est particulièrement exceptionnel dans les tâches d'animation et convient très à des scénarios d'application tels que la création d'animation et la production vidéo courte. Dans le même temps, il prend en charge plusieurs tailles de vidéos générées par l'image, qu'il s'agisse d'un écran horizontal, vertical ou carré, il peut répondre aux besoins de différentes plates-formes.
Adresse de l'expérience:
https://yuewen.cn/videos
Github:
https://github.com/stepfun-ai/step-video-ti2v
Github-comfyui:
https://github.com/stepfun-ai/comfyui-stepvideo