MOFA Video

？mofa-video：通过生成运动场适应的可控图像动画在冷冻图像到视频扩散模型中（ECCV 2024）

muyao niu ^1,2小冠^2，* Xintao Wang ² Yong Zhang ² Ying Shan ² Yinqiang Zheng ^1，*

¹东京大学²腾讯AI实验室^*通讯作者

在欧洲计算机视觉会议（ECCV）2024

新功能/更新

• （2024.08.07）我们发布了基于Kepoint的面部图像动画的推理脚本！请参考以获取更多说明。

• （2024.07.15）我们发布了基于轨迹的图像动画的训练代码！请参考以获取更多说明。

• MOFA-VIDEO将出现在ECCV 2024中！ ???????

• 我们已经发布了Gradio推理代码和混合控件的检查点！请参考以获取更多说明。

• 通过拥抱面空间的免费在线演示即将到来！

• 如果您觉得这项工作很有趣，请随时给予一个！

？代码发布

• （2024.05.31）基于轨迹的图像动画的Gradio演示和检查点
• （2024.06.22）带有混合控制的图像动画的Gradio演示和检查点
• （2024.07.15）基于轨迹的图像动画培训脚本
• （2024.08.07）基于键盘的面部图像动画的推理脚本和检查点
• 培训基于关键点的面部图像动画的脚本

tl; dr

图片？️ +混合控件？？ =视频？

轨迹 +地标控制

轨迹控制

地标控制

检查我们项目页面的画廊以获取更多视觉结果！

介绍

我们介绍了MOFA-VIDEO，该方法旨在将不同域的运动调整为冷冻视频扩散模型。通过采用稀疏到密度（S2D）运动产生和基于流动的运动适应性，MOFA-VIDEO可以使用各种类型的控制信号（包括轨迹，关键点序列及其组合）有效地对单个图像进行动画。

在训练阶段，我们通过稀疏运动采样生成稀疏的控制信号，然后训练不同的MOFA适配器通过预训练的SVD生成视频。在推论阶段，可以将不同的MOFA适配器组合在一起以共同控制冷冻的SVD。

？带有混合控件的图像动画

1。克隆存储库

 git clone https://github.com/MyNiuuu/MOFA-Video.git
cd ./MOFA-Video

2。环境设置

该演示已在11.7的CUDA版本上进行了测试。

 cd ./MOFA-Video-Hybrid
conda create -n mofa python==3.10
conda activate mofa
pip install -r requirements.txt
pip install opencv-python-headless
pip install "git+https://github.com/facebookresearch/pytorch3d.git"

重要的：配x配x配x requirements.txt在需求中的4.5.0的Gradio版本应严格遵循，因为其他版本可能会导致错误。

3。下载检查点

1. 从此处下载CMP的检查点，然后将其放入./MOFA-Video-Hybrid/models/cmp/experiments/semiauto_annot/resnet50_vip+mpii_liteflow/checkpoints 。

2. 从HuggingFace Repo下载ckpts文件夹，其中包含必要的验证检查点，并将其放在./MOFA-Video-Hybrid下。您可以使用git lfs下载整个ckpts文件夹：

   1. 从https://git-lfs.github.com下载git lfs 。它通常用于在拥抱面上具有大型模型检查点的克隆存储库。
   2. 执行git clone https://huggingface.co/MyNiuuu/MOFA-Video-Hybrid下载完整的HuggingFace存储库，目前仅包括ckpts文件夹。
   3. 复制或将ckpts文件夹移至GitHub存储库。

   注意：如果遇到错误git: 'lfs' is not a git command ，则可以尝试使用此解决方案，该解决方案对我的情况有效。

   最后，检查点应被视为./MOFA-Video-Hybrid/ckpt_tree.md 。

4。运行Gradio演示

使用音频使面部零件动画

 cd ./MOFA-Video-Hybrid
python run_gradio_audio_driven.py

??? Gradio接口显示如下。请在推理过程中请参阅Gradio接口上的说明！

使用参考视频使面部零件动画

 cd ./MOFA-Video-Hybrid
python run_gradio_video_driven.py

??? Gradio接口显示如下。请在推理过程中请参阅Gradio接口上的说明！

？基于轨迹的图像动画

请参阅此处以获取说明。

培训自己的MOFA适配器

请参考以获取更多说明。

引用

 @article{niu2024mofa,
  title={MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model},
  author={Niu, Muyao and Cun, Xiaodong and Wang, Xintao and Zhang, Yong and Shan, Ying and Zheng, Yinqiang},
  journal={arXiv preprint arXiv:2405.20222},
  year={2024}
}

致谢

我们真诚地感谢以下项目的代码发布：Dragnuwa，Sadtalker，Aniportrait，扩散器，SVD_XTEND，条件 - 动作 - propagation和unimatch。