MOFA Video

? ️ Mofa-video: animation d'image contrôlable via des adaptations de champ de mouvement génératives dans le modèle de diffusion d'image à video gelé (ECCV 2024)

Muyao niu ^1,2 Xiaodong Cun ^{2, *} Xintao Wang ² Yong Zhang ² Ying Shan ² Yinqiang Zheng ^{1, *}

¹ Université de Tokyo ² Tencent Ai Lab ^* Auteur correspondant

En conférence européenne sur la vision par ordinateur (ECCV) 2024

Nouvelles fonctionnalités / mises à jour

• (2024.08.07) Nous avons publié le script d'inférence pour l'animation d'image faciale basée sur KeyPoint! Veuillez vous référer à ici pour plus d'instructions.

• (2024.07.15) Nous avons publié le code de formation pour l'animation d'image basée sur la trajectoire! Veuillez vous référer à ici pour plus d'instructions.

• Mofa-video sera apparu dans ECCV 2024! ??????

• Nous avons publié le code d'inférence Gradio et les points de contrôle des contrôles hybrides ! Veuillez vous référer à ici pour plus d'instructions.

• La démo en ligne gratuite via des espaces HuggingFace arrivera bientôt!

• Si vous trouvez ce travail intéressant, n'hésitez pas à donner un!

? Version de code

• (2024.05.31) Demo Gradio et points de contrôle pour l'animation d'image basée sur la trajectoire
• (2024.06.22) Demo Gradio et points de contrôle pour l'animation d'image avec contrôle hybride
• (2024.07.15) Scripts de formation pour l'animation d'image basée sur la trajectoire
• (2024.08.07) Scripts et points de contrôle d'inférence pour l'animation d'image faciale basée sur le point clé
• Scripts de formation pour animation d'image faciale basée sur le point de vue

Tl; dr

Image? ️ + Contrôles hybrides? ️ = vidéos ??

Trajectoire + contrôle historique

Contrôle de la trajectoire

Contrôle historique

Consultez la galerie de notre page de projet pour plus de résultats visuels!

Introduction

Nous introduisons Mofa-video, une méthode conçue pour adapter les mouvements de différents domaines au modèle de diffusion vidéo congelé. En utilisant la génération de mouvement clairsemée (S2D) et l'adaptation de mouvement basée sur le flux, le mofa-video peut animer efficacement une seule image en utilisant divers types de signaux de contrôle, y compris les trajectoires, les séquences de point clés et leurs combinaisons.

Pendant la phase d'entraînement, nous générons des signaux de contrôle clairsemés grâce à un échantillonnage de mouvement clairsemé, puis entraînons différents adaptateurs de mofa-adaptateurs pour générer une vidéo via un SVD pré-formé. Pendant le stade d'inférence, différentes adaptations MOFA peuvent être combinées pour contrôler conjointement le SVD congelé.

? ️ Animation d'image avec commandes hybrides

1. Clone le référentiel

 git clone https://github.com/MyNiuuu/MOFA-Video.git
cd ./MOFA-Video

2. Configuration de l'environnement

La démo a été testée sur la version CUDA de 11.7.

 cd ./MOFA-Video-Hybrid
conda create -n mofa python==3.10
conda activate mofa
pip install -r requirements.txt
pip install opencv-python-headless
pip install "git+https://github.com/facebookresearch/pytorch3d.git"

IMPORTANT: ️ ️ ️ La version Gradio de 4.5.0 dans les requirements.txt doit être strictement suivie car d'autres versions peuvent provoquer des erreurs.

3. Téléchargement des points de contrôle

1. Téléchargez le point de contrôle de CMP à partir d'ici et mettez-le dans ./MOFA-Video-Hybrid/models/cmp/experiments/semiauto_annot/resnet50_vip+mpii_liteflow/checkpoints .

2. Téléchargez le dossier ckpts à partir du repo HuggingFace qui contient les points de contrôle pré-entraînés nécessaires et mettez-le sous ./MOFA-Video-Hybrid . Vous pouvez utiliser git lfs pour télécharger l' intégralité du dossier ckpts :

   1. Téléchargez git lfs à partir de https://git-lfs.github.com. Il est couramment utilisé pour le clonage des référentiels avec de grands points de contrôle de modèle sur HuggingFace.
   2. Exécuter git clone https://huggingface.co/MyNiuuu/MOFA-Video-Hybrid pour télécharger le référentiel complet HuggingFace, qui ne comprend actuellement que le dossier ckpts .
   3. Copiez ou déplacez le dossier ckpts vers le référentiel GitHub.

   Remarque: Si vous rencontrez l'erreur git: 'lfs' is not a git command sur Linux, vous pouvez essayer cette solution qui a bien fonctionné pour mon cas.

   Enfin, les points de contrôle doivent être orgnés comme ./MOFA-Video-Hybrid/ckpt_tree.md .

4. Run Gradio Demo

Utilisation de l'audio pour animer la partie faciale

 cd ./MOFA-Video-Hybrid
python run_gradio_audio_driven.py

??? L'interface Gradio est affichée comme ci-dessous. Veuillez vous référer aux instructions sur l'interface Gradio pendant le processus d'inférence!

Utilisation de la vidéo de référence pour animer la partie faciale

 cd ./MOFA-Video-Hybrid
python run_gradio_video_driven.py

??? L'interface Gradio est affichée comme ci-dessous. Veuillez vous référer aux instructions sur l'interface Gradio pendant le processus d'inférence!

? Animation d'image basée sur la trajectoire

Veuillez vous référer à ici pour des instructions.

Former votre propre adaptateur Mofa

Veuillez vous référer à ici pour plus d'instructions.

Citation

 @article{niu2024mofa,
  title={MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model},
  author={Niu, Muyao and Cun, Xiaodong and Wang, Xintao and Zhang, Yong and Shan, Ying and Zheng, Yinqiang},
  journal={arXiv preprint arXiv:2405.20222},
  year={2024}
}

Remerciements

Nous apprécions sincèrement la version du code des projets suivants: dragnuwa, sadtalker, aniportrait, diffuseurs, svd_xtend, propagation conditionnelle-mouvement et unmatch.