SAVE

Enregistrer: Adaptation spectrale-shift-shift des modèles de diffusion d'image pour l'édition vidéo guidée par texte

Si vous aimez notre projet, veuillez nous donner une star sur GitHub pour la dernière mise à jour.

Page du projet | Papier

? Points forts

Save vous permet de modifier votre vidéo en 3 minutes! Au lieu de 30 minutes! en sota.

Efficace, de haute qualité et à vitesse rapide

• Diffusion stable (SD) pour la génération d'images -> de haute qualité
• Nettez uniquement les valeurs singulières des matrices de requête -> Adaptation efficace
• Régulariser les mises à jour de la valeur singulière

Mises à jour

Bienvenue à regarder ? Ce référentiel pour les dernières mises à jour.

✅ [2024.06.07] : Nous avons publié notre code

✅ [2023.12.01] : Nous avons publié notre article, sauf sur arXiv.

✅ [2023.12.01] : Page de publication du projet.

Méthodologie

Implémentation de l'algorithme de sauvegarde.

Tout d'abord, créez un environnement conda en utilisant ce

 conda create -n save

Installez d'abord les packages suivants-

 pip install -r requirements.txt

Exécutez la commande suivante pour modifier une vidéo donnée.

 python Edit_Video_SAVE.py

Modifiez l'option "- config" dans les arguments pour fournir une nouvelle vidéo.

Résultats de l'édition vidéo

Comparaison qualitative

Comparaison quantitative

? Reconnaissance

Ce travail est construit sur de nombreux travaux de recherche incroyables et projets open-source, merci beaucoup à tous les auteurs pour le partage!

• Tune-A-Video
• Diffusion stable
• Diffuseurs

✏️ Citation

Si vous trouvez notre article et notre code utiles dans vos recherches, veuillez envisager de donner une étoile et une citation.

 @misc { karim2023save ,
      title = { SAVE: Spectral-Shift-Aware Adaptation of Image Diffusion Models for Text-driven Video Editing } , 
      author = { Nazmul Karim and Umar Khalid and Mohsen Joneidi and Chen Chen and Nazanin Rahnavard } ,
      year = { 2023 } ,
      eprint = { 2305.18670 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}