photoswap

Photoswap: intercambio de temas personalizados en imágenes

Jing Gu, Yilin Wang, Nanxuan Zhao, Tsu-Jui Fu, Wei Xiong, Qing Liu, Zhifei Zhang, He Zhang, Jianming Zhang, Hyunjoon Jung, Xin Eric Wang

Neurips 2023

[Página del proyecto] [Documento]

Arquitectura modelo

HACER

• Lanzamiento de referencia
• Código de lanzamiento

Noticias

• [2023.07.08] Hemos lanzado nuestro código.

Aprendizaje conceptual

Entrenar un modelo con su propio concepto

El nuevo tema se aprenderá como un nuevo token en el modelo de difusión. Huggingface proporciona scripts para el entrenamiento. En detalle, puede usar inversión de texto, Dreambooth, difusión personalizada o cualquier otro modelo de aprendizaje conceptual. Asegúrese de instalar el paquete en los requisitos correspondientes.txt

• Más imágenes de origen conducen a un concepto mejor aprendido y, por lo tanto, a un mejor resultado de swap de sujetos. Por ejemplo, más imágenes de la cara humana durante el entrenamiento conducen a una mejor transferencia de figuras artísticas.
• Para DreamBooth, el fino que el codificador conduce a una mejor actuación, especialmente para la cara humana. Eso también requeriría más memoria.

Descargar modelos PhotPSwap

Póngase en contacto con [email protected] para obtener puntos de control.

Intercambio de atención

Siguiendo los siguientes pasos para hacer el intercambio de sujetos:

1. Coloque el punto de control del modelo de difusión entrenado en la carpeta checkpoints .
2. Instale el paquete usando requirements.txt por pip install -r requirements.txt . Tenga en cuenta que el entorno de aprendizaje conceptual no es adecuado para un intercambio de atención.
3. Ejecutar real-image-swap.ipynb para el intercambio de sujetos.

Diferentes conceptos aprendidos podrían tener diferentes pasos de intercambio para el intercambio de temas exitosos. Sintonizar el paso de intercambio y el texto solicita un mejor rendimiento. Un modelo conceptual que tiene sus pesos ajustados tendrá una degración en su capacidad en la generación de conceptos generales. Para hacer un intercambio de sujetos con Photoswap, se requiere una sola GPU con memoria de 16 GB.

Citación

 @misc{gu2023photoswap,
      title={Photoswap: Personalized Subject Swapping in Images}, 
      author={Jing Gu and Yilin Wang and Nanxuan Zhao and Tsu-Jui Fu and Wei Xiong and Qing Liu and Zhifei Zhang and He Zhang and Jianming Zhang and HyunJoon Jung and Xin Eric Wang},
      year={2023},
      journal={Advances in Neural Information Processing Systems}
}