SAVE

Сохранить: Спектральная адаптация моделей диффузии изображений для редактирования видео

Если вам нравится наш проект, пожалуйста, дайте нам звезду на GitHub для последнего обновления.

Project Page | Бумага

? Основные моменты

Сохранить позволяет вам редактировать ваше видео в течение 3 минут! вместо 30 минут! в Sota.

Эффективно, высококачественный и быстрый скорость

• Стабильная диффузия (SD) для генерации изображений-> качественное
• Только тонкая настраиваем сингулярные значения матриц запроса-> Эффективная адаптация
• Регулярно использовать обновления в единственном значении

Обновления

Добро пожаловать, чтобы посмотреть ? Этот репозиторий для последних обновлений.

✅ [2024.06.07] : мы выпустили наш код

✅ [2023.12.01] : мы выпустили нашу статью, сохранив на arxiv.

✅ [2023.12.01] : Страница проекта выпуска.

Методология

Реализация алгоритма сохранения.

Во -первых, создайте среду Conda, используя это

 conda create -n save

Сначала установите следующие пакеты-

 pip install -r requirements.txt

Запустите следующую команду, чтобы отредактировать данное видео.

 python Edit_Video_SAVE.py

Измените опцию «-конфиг» в аргументах, чтобы предоставить новое видео.

Результаты редактирования видео

Качественное сравнение

Количественное сравнение

? Подтверждение

Эта работа построена на многих удивительных исследовательских работах и ​​проектах с открытым исходным кодом, большое спасибо всем авторам за обмен!

• Tune-A-Video
• Стабильная диффузия
• Диффузоры

✏ Цитата

Если вы найдете нашу статью и код полезным в своем исследовании, пожалуйста, рассмотрите возможность предоставить звезду и цитирунию.

 @misc { karim2023save ,
      title = { SAVE: Spectral-Shift-Aware Adaptation of Image Diffusion Models for Text-driven Video Editing } , 
      author = { Nazmul Karim and Umar Khalid and Mohsen Joneidi and Chen Chen and Nazanin Rahnavard } ,
      year = { 2023 } ,
      eprint = { 2305.18670 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}