Shanghai Jieyue Xingchen Intelligent Technology Co., Ltd.는 최근 그래픽 비디오 모델 인 Step-Video-TI2V의 최신 개발의 오픈 소스를 발표했습니다. 이 모델은 30B 매개 변수를 갖춘 STEP-VIEDO-T2V 교육을 기반으로합니다. 102 프레임, 5 초 및 540p 해상도 비디오를 생성 할 수 있습니다. 제어 가능한 모션 진폭과 제어 가능한 렌즈 모션, 특히 애니메이션 효과 측면에서 두 가지 핵심 기능이 있습니다. 기존 오픈 소스 비디오 모델과 비교할 때 STEP-Video-TI2V는 매개 변수 스케일에서 더 높은 상한을 제공 할뿐만 아니라 제어 가능한 모션 진폭도 비디오 생성 결과의 역학 및 안정성의 균형을 유지하여 제작자에게보다 유연한 선택을 제공 할 수 있습니다.
STEP-VIEDO-TI2V가 개발되는 동안 팀은 두 가지 주요 최적화를 수행했습니다. 먼저, 생성 된 비디오와 원본 이미지 사이의 일관성을 향상시키기 위해 이미지 조건이 도입됩니다. 기존의 교차 분류 방법과 달리, 모델은보다 직접적인 방법을 채택하여 생성 된 비디오가 입력 이미지와 매우 일치하도록하기 위해 DIT의 첫 번째 프레임에 해당하는 벡터 표현을 직접 접합하여 채널 치수를 직접 접합시킵니다. 둘째, Adaln 모듈은 비디오 동적 스코어링 정보를 소개하여 비디오를 생성 할 때 다양한 모션 레벨을 지정하고 비디오의 동적 진폭을 정확하게 제어하여 역학, 안정성 및 일관성을 균형을 유지할 수 있습니다. 또한 팀은 주제 움직임과 렌즈 운동의 특별하고 정확한 마커를 만들어 주제 역학 및 미러 움직임 효과에서 모델의 성능을 더욱 향상 시켰습니다.
STEP-VIEDO-TI2V의 핵심 기능에는 제어 가능한 모션 진폭, 다중 다중 제어, 뛰어난 애니메이션 효과 및 다중 크기 생성 지원이 포함됩니다. 사용자는 창의적인 요구에 따라 역동적이고 안정적인 사진을 자유롭게 전환하고 기본 푸시 풀, 흔들림, 리프팅 및 복잡한 영화 수준 미러 효과로 비디오를 생성 할 수 있습니다. 이 모델은 특히 애니메이션 작업에서 탁월하며 애니메이션 제작 및 짧은 비디오 제작과 같은 응용 프로그램 시나리오에 매우 적합합니다. 동시에, 수평, 수직 또는 정사각형 화면이든 여러 크기의 그림 생성 비디오를 지원하므로 다양한 플랫폼의 요구를 충족시킬 수 있습니다.
경험 주소 :
https://yuewen.cn/videos
Github :
https://github.com/stepfun-ai/step-video-ti2v
github-comfyui :
https://github.com/stepfun-ai/comfyui-stepvideo