Alibaba와 화둥사범대학이 공동으로 출시한 AI 도구인 Diffutoon을 사용하면 클릭 한 번으로 동영상을 애니메이션 스타일로 변환할 수 있어 동영상 제작 과정이 완전히 바뀌게 됩니다. 고급 AI 이미지 생성 기술인 확산 모델을 사용하여 실제 비디오를 다양한 애니메이션 스타일로 변환하고 사진을 부드럽고 자연스러우며 풍부한 디테일을 유지하고 고해상도 출력 및 지능형 편집을 지원합니다. 짧은 동영상 제작자이든 전문가이든 Diffutoon은 강력한 창의적 지원을 제공하여 동영상 제작을 그 어느 때보다 쉽고 재미있게 만들어줍니다.
손에 휴대폰을 들고 마음대로 동영상을 녹화한 다음, 클릭 한 번으로 동영상이 마술처럼 애니메이션 스타일의 사진으로 변하는 것을 상상해 보세요. 이것은 꿈이 아니라 Diffutoon이 가져온 기적입니다.
알리바바와 화동사범대학이 공동 개발한 AI 도구인 Diffutoon은 독특한 매력으로 영상 제작을 그 어느 때보다 쉽고 재미있게 만들고 있습니다.
공식 프로젝트 페이지의 비디오
주요 기능 하이라이트:
애니메이션 스타일 변환: 사실적인 비디오를 다양한 애니메이션 스타일로 변환하여 현실과 2차원 세계를 원활하게 연결할 수 있습니다.
콘텐츠 일관성: 비디오 콘텐츠의 일관성을 유지하고 깜박임과 왜곡을 방지하며 모든 프레임을 부드럽고 자연스럽게 만듭니다.
고해상도 출력: 전문 제작 요구 사항을 충족하는 고해상도 장기 비디오 생성을 지원합니다.
스마트 편집: 색상 변경, 특수 효과 추가 등 사용자 텍스트 프롬프트를 기반으로 비디오 콘텐츠를 편집합니다.
디테일 보존: 애니메이션 스타일의 시각적 경험을 잃지 않으면서 조명, 머리카락, 자세 및 기타 디테일을 세밀하게 보존합니다.
저해상도 최적화: 입력 영상 해상도가 낮아도 애니메이션 스타일의 고품질 영상을 출력할 수 있습니다.
Diffutoon의 핵심은 첨단 AI 이미지 생성 기술인 확산 모델입니다. 이 모델은 대량의 이미지 데이터를 학습하여 새로운 이미지와 동영상을 생성합니다. Diffutoon은 이를 기반으로 단일 사진 처리뿐만 아니라 동영상 만화화에도 최적화되어 있습니다.
Diffutoon은 먼저 비디오의 각 프레임을 분석하여 캐릭터 움직임 및 자세와 같은 주요 정보를 캡처한 다음 이 정보를 유지하면서 그림 스타일을 만화 애니메이션으로 변환합니다. 전체 과정이 마치 마술처럼 원본의 움직임과 구조를 유지하면서 영상을 애니메이션처럼 보이게 만들어줍니다.
Diffutoon은 "Flash Attention"과 같은 효율적인 기술을 사용하여 처리 속도를 크게 향상시키고 휴대폰으로 촬영한 고화질 비디오도 빠르게 애니메이션 효과로 변환할 수 있습니다.
Diffutoon은 애니메이션 제작, 게임 개발부터 광고 자료 제작에 이르기까지 광범위한 응용 시나리오를 보유하고 있습니다. 단편 영상 제작자에게 콘텐츠 제작을 더욱 다양하게 만들어주는 강력한 창작 도구입니다.
복잡한 장면이나 빠르게 움직이는 이미지를 처리할 때는 여전히 완벽해야 하지만 Diffutoon의 잠재력은 과소평가될 수 없습니다. 지속적인 기술 발전으로 우리는 Diffutoon이 비디오 제작에 혁명적인 변화를 가져올 것이라고 믿을 이유가 있습니다.
프로젝트 페이지: https://top.aibase.com/tool/diffutoon
코드: https://github.com/modelscope/DiffSynth-Studio
논문: https://arxiv.org/abs/2401.16224
Diffutoon은 편리한 작동과 강력한 기능으로 비디오 제작 분야에 새로운 가능성을 제시합니다. 아직 개선해야 할 부분이 있지만 향후 개발 잠재력은 엄청나며 앞으로 비디오 제작 분야에서 더 많은 혁신을 기대할 가치가 있습니다. 자세히 알아보려면 프로젝트 페이지와 저장소를 방문하세요.