photoswap

Photoswap: Swapping de assunto personalizado em imagens

Jing Gu, Yilin Wang, Nanxuan Zhao, Tsu-Jui Fu, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, Hyunjoon Jung, Xin Eric Wang

Neurips 2023

[Página do projeto] [Papel]

Arquitetura de modelo

PENDÊNCIA

• Libere o benchmark
• Código de liberação

Notícias

• [2023.07.08] Lançamos nosso código.

Aprendizagem conceitual

Treinando um modelo com seu próprio conceito

O novo assunto será aprendido como um novo token no modelo de difusão. O Huggingface fornece scripts para treinamento. Em detalhes, você pode usar a inversão de texto, o Dreambooth, a difusão personalizada ou qualquer outro modelo de aprendizado de conceito. Certifique -se de instalar o pacote nos requisitos correspondentes.txt

• Mais imagens de origem leva a um conceito melhor aprendido e, portanto, a um melhor resultado de troca de assuntos. Por exemplo, mais imagens de rosto humano durante o treinamento levam a uma melhor transferência de figuras artísticas.
• Para o Dreambooth, o Finetuning, o codificador leva a um melhor desempenho, especialmente para o rosto humano. Isso também exigiria mais memória.

Faça o download dos modelos PhotPswap

Entre em contato com [email protected] para obter pontos de verificação.

Troca de atenção

Seguindo as etapas abaixo para fazer a troca de assuntos:

1. Coloque o ponto de verificação do modelo de difusão treinado na pasta checkpoints .
2. Instale o pacote usando requirements.txt por pip install -r requirements.txt . Observe que o ambiente de aprendizado de conceito não é adequado para troca de atenção.
3. Executando real-image-swap.ipynb para troca de assuntos.

Diferentes conceitos aprendidos podem ter diferentes etapas de troca para a troca bem -sucedida de assuntos. Ajustando a etapa de troca e o prompt de texto para obter um melhor desempenho. Um modelo conceitual que tem seus pesos ajustados terá uma degração em sua capacidade na geração geral de conceitos. Para fazer a troca de assuntos com o Photoswap, é necessária uma única GPU com memória de 16 GB.

Citação

 @misc{gu2023photoswap,
      title={Photoswap: Personalized Subject Swapping in Images}, 
      author={Jing Gu and Yilin Wang and Nanxuan Zhao and Tsu-Jui Fu and Wei Xiong and Qing Liu and Zhifei Zhang and He Zhang and Jianming Zhang and HyunJoon Jung and Xin Eric Wang},
      year={2023},
      journal={Advances in Neural Information Processing Systems}
}