SAVE

Salvar: adaptação espectral-alteração dos modelos de difusão de imagem para edição de vídeo guiada por texto

Se você gosta do nosso projeto, dê -nos uma estrela no Github para obter a atualização mais recente.

Página do projeto | Papel

? Destaques

Salvar permite que você edite seu vídeo em questão de 3 minutos! Em vez de 30 minutos! em SOTA.

Eficiente, de alta qualidade e velocidade rápida

• Difusão estável (DP) para geração de imagens-> alta qualidade
• Apenas ajuste os valores singulares das matrizes de consulta-> adaptação eficiente
• Regularize as atualizações de valor singular

Atualizações

Bem -vindo ao assistir ? Este repositório para as atualizações mais recentes.

✅ [2024.06.07] : Lançamos nosso código

✅ [2023.12.01] : Lançamos nosso artigo, exceto no Arxiv.

✅ [2023.12.01] : Página do projeto de liberação.

Metodologia

Implementação do algoritmo SAVE.

Primeiro, crie um ambiente de conda usando isso

 conda create -n save

Primeiro instale os seguintes pacotes-

 pip install -r requirements.txt

Execute o seguinte comando para editar um determinado vídeo.

 python Edit_Video_SAVE.py

Altere a opção "-Config" em argumentos para fornecer um novo vídeo.

Resultados de edição de vídeo

Comparação qualitativa

Comparação quantitativa

? Reconhecimento

Este trabalho é construído sobre muitos trabalhos de pesquisa incríveis e projetos de código aberto, muito obrigado a todos os autores por compartilhar!

• Tune-a-Video
• Difusão estável
• Difusores

✏️ Citação

Se você achar nosso artigo e código úteis em sua pesquisa, considere dar uma estrela e uma citação.

 @misc { karim2023save ,
      title = { SAVE: Spectral-Shift-Aware Adaptation of Image Diffusion Models for Text-driven Video Editing } , 
      author = { Nazmul Karim and Umar Khalid and Mohsen Joneidi and Chen Chen and Nazanin Rahnavard } ,
      year = { 2023 } ,
      eprint = { 2305.18670 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}