MOFA Video

？mofa-video：通過生成運動場適應的可控圖像動畫在冷凍圖像到視頻擴散模型中（ECCV 2024）

muyao niu ^1,2小冠^2，* Xintao Wang ² Yong Zhang ² Ying Shan ² Yinqiang Zheng ^1，*

¹東京大學²騰訊AI實驗室^*通訊作者

在歐洲計算機視覺會議（ECCV）2024

新功能/更新

• （2024.08.07）我們發布了基於Kepoint的面部圖像動畫的推理腳本！請參考以獲取更多說明。

• （2024.07.15）我們發布了基於軌蹟的圖像動畫的訓練代碼！請參考以獲取更多說明。

• MOFA-VIDEO將出現在ECCV 2024中！ ???????

• 我們已經發布了Gradio推理代碼和混合控件的檢查點！請參考以獲取更多說明。

• 通過擁抱面空間的免費在線演示即將到來！

• 如果您覺得這項工作很有趣，請隨時給予一個！

？代碼發布

• （2024.05.31）基於軌蹟的圖像動畫的Gradio演示和檢查點
• （2024.06.22）帶有混合控制的圖像動畫的Gradio演示和檢查點
• （2024.07.15）基於軌蹟的圖像動畫培訓腳本
• （2024.08.07）基於鍵盤的面部圖像動畫的推理腳本和檢查點
• 培訓基於關鍵點的面部圖像動畫的腳本

tl; dr

圖片？️ +混合控件？？ =視頻？

軌跡 +地標控制

軌跡控制

地標控制

檢查我們項目頁面的畫廊以獲取更多視覺結果！

介紹

我們介紹了MOFA-VIDEO，該方法旨在將不同域的運動調整為冷凍視頻擴散模型。通過採用稀疏到密度（S2D）運動產生和基於流動的運動適應性，MOFA-VIDEO可以使用各種類型的控制信號（包括軌跡，關鍵點序列及其組合）有效地對單個圖像進行動畫。

在訓練階段，我們通過稀疏運動採樣生成稀疏的控制信號，然後訓練不同的MOFA適配器通過預訓練的SVD生成視頻。在推論階段，可以將不同的MOFA適配器組合在一起以共同控製冷凍的SVD。

？帶有混合控件的圖像動畫

1。克隆存儲庫

 git clone https://github.com/MyNiuuu/MOFA-Video.git
cd ./MOFA-Video

2。環境設置

該演示已在11.7的CUDA版本上進行了測試。

 cd ./MOFA-Video-Hybrid
conda create -n mofa python==3.10
conda activate mofa
pip install -r requirements.txt
pip install opencv-python-headless
pip install "git+https://github.com/facebookresearch/pytorch3d.git"

重要的：配x配x配x requirements.txt在需求中的4.5.0的Gradio版本應嚴格遵循，因為其他版本可能會導致錯誤。

3。下載檢查點

1. 從此處下載CMP的檢查點，然後將其放入./MOFA-Video-Hybrid/models/cmp/experiments/semiauto_annot/resnet50_vip+mpii_liteflow/checkpoints 。

2. 從HuggingFace Repo下載ckpts文件夾，其中包含必要的驗證檢查點，並將其放在./MOFA-Video-Hybrid下。您可以使用git lfs下載整個ckpts文件夾：

   1. 從https://git-lfs.github.com下載git lfs 。它通常用於在擁抱面上具有大型模型檢查點的克隆存儲庫。
   2. 執行git clone https://huggingface.co/MyNiuuu/MOFA-Video-Hybrid下載完整的HuggingFace存儲庫，目前僅包括ckpts文件夾。
   3. 複製或將ckpts文件夾移至GitHub存儲庫。

   注意：如果您遇到錯誤git: 'lfs' is not a git command ，則可以嘗試使用此解決方案對我的情況有效。

   最後，檢查點應被視為./MOFA-Video-Hybrid/ckpt_tree.md 。

4。運行Gradio演示

使用音頻使面部零件動畫

 cd ./MOFA-Video-Hybrid
python run_gradio_audio_driven.py

??? Gradio接口顯示如下。請在推理過程中請參閱Gradio接口上的說明！

使用參考視頻使面部零件動畫

 cd ./MOFA-Video-Hybrid
python run_gradio_video_driven.py

??? Gradio接口顯示如下。請在推理過程中請參閱Gradio接口上的說明！

？基於軌蹟的圖像動畫

請參閱此處以獲取說明。

培訓自己的MOFA適配器

請參考以獲取更多說明。

引用

 @article{niu2024mofa,
  title={MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model},
  author={Niu, Muyao and Cun, Xiaodong and Wang, Xintao and Zhang, Yong and Shan, Ying and Zheng, Yinqiang},
  journal={arXiv preprint arXiv:2405.20222},
  year={2024}
}

致謝

我們真誠地感謝以下項目的代碼發布：Dragnuwa，Sadtalker，Aniportrait，擴散器，SVD_XTEND，條件 - 動作範圍和Unimatch。