Sitio web oficial www.binance.com/zh-cn :ingrese el sitio web oficial ☜☜
Aplicación: ☞☞Official App Download☜☜
Shanghai Jieyue Xingchen Intelligent Technology Co., Ltd. anunció recientemente el código abierto de su último desarrollo del modelo de video gráfico: Step-Video-Ti2v. Este modelo se basa en el entrenamiento Step-Video-T2V con parámetros de 30B. Puede generar 102 cuadros, 5 segundos y videos de resolución de 540p. Tiene dos características centrales: amplitud de movimiento controlable y movimiento de lentes controlables, especialmente en términos de efectos de animación. En comparación con el modelo de video de código abierto existente, Step-Video-TI2V no solo proporciona un límite superior más alto en la escala de parámetros, sino que su amplitud de movimiento controlable también puede equilibrar la dinámica y la estabilidad de los resultados de generación de videos, proporcionando a los creadores opciones más flexibles.
Durante el desarrollo de Step-Video-TI2V, el equipo llevó a cabo dos optimizaciones clave. Primero, se introducen condiciones de imagen para mejorar la consistencia entre el video generado y la imagen original. A diferencia del método tradicional de atención cruzada, el modelo adopta una manera más directa, empalmando directamente las dimensiones del canal empalmando directamente la representación vectorial correspondiente a la primera trama de DIT, para asegurarse de que el video generado sea muy consistente con la imagen de entrada. En segundo lugar, el módulo ADALN presenta información de puntuación dinámica de video, para que los usuarios puedan especificar diferentes niveles de movimiento al generar videos, controlar con precisión la amplitud dinámica del video, equilibrando así la dinámica, la estabilidad y la consistencia. Además, el equipo también realizó marcadores especiales y precisos de los movimientos de los sujetos y los movimientos de lentes, mejorando aún más el rendimiento del modelo en la dinámica del sujeto y los efectos de movimiento de espejo.
Las características centrales de Step-Video-TI2V incluyen amplitud de movimiento controlable, control múltiple de espejos, excelentes efectos de animación y soporte para la generación de múltiples tamaño. Los usuarios pueden cambiar libremente de imágenes dinámicas y estables de acuerdo con sus necesidades creativas, y generar videos desde empuje básico, sacudida, elevación y bajada a los complejos efectos de espejo a nivel de película. Este modelo es particularmente excepcional en las tareas de animación y es muy adecuado para escenarios de aplicaciones como la creación de animación y la producción de video corta. Al mismo tiempo, admite múltiples tamaños de videos generados por imágenes, ya sea una pantalla horizontal, vertical o cuadrada, puede satisfacer las necesidades de diferentes plataformas.
Dirección de experiencia:
https://yuewen.cn/videos
GitHub:
https://github.com/stepfun-ai/step-video-ti2v
GitHub-Comfyui:
https://github.com/stepfun-ai/comfyui-stepvideo