SAVE

Guardar: adaptación al desplazamiento espectral de los modelos de difusión de imágenes para edición de video guiada por texto

Si le gusta nuestro proyecto, danos una estrella en GitHub para la última actualización.

Página del proyecto | Papel

? Reflejos

¡Guardar le permite editar su video en cuestión de 3 minutos! en lugar de 30 minutos! En Sota.

Eficiente, de alta calidad y velocidad rápida

• Difusión estable (SD) para la generación de imágenes-> alta calidad
• Solo ajusta los valores singulares de las matrices de consulta-> adaptación eficiente
• Regularizar las actualizaciones de valor singular

Actualizaciones

¿Bienvenido a ver ? Este repositorio para las últimas actualizaciones.

✅ [2024.06.07] : Hemos lanzado nuestro código

✅ [2023.12.01] : Hemos lanzado nuestro artículo, ahorrar en ARXIV.

✅ [2023.12.01] : Página de lanzamiento del proyecto.

Metodología

Implementación del algoritmo de guardado.

Primero, cree un entorno de condena utilizando este

 conda create -n save

Primero instale los siguientes paquetes

 pip install -r requirements.txt

Ejecute el siguiente comando para editar un video dado.

 python Edit_Video_SAVE.py

Cambie la opción "-Config" en argumentos para proporcionar un nuevo video.

Resultados de edición de video

Comparación cualitativa

Comparación cuantitativa

? Reconocimiento

Este trabajo se basa en muchos trabajos de investigación increíbles y proyectos de código abierto, ¡muchas gracias a todos los autores por compartir!

• Sintonía
• Difusión estable
• Difusor

✏️ Cita

Si encuentra útiles nuestro documento y código en su investigación, considere dar una estrella y una cita.

 @misc { karim2023save ,
      title = { SAVE: Spectral-Shift-Aware Adaptation of Image Diffusion Models for Text-driven Video Editing } , 
      author = { Nazmul Karim and Umar Khalid and Mohsen Joneidi and Chen Chen and Nazanin Rahnavard } ,
      year = { 2023 } ,
      eprint = { 2305.18670 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}