photoswap

photoswap：图像中的个性化主题交换

Jing Gu，Yilin Wang，Nanxuan Zhao，Tsu-Jui Fu，Wei Xiong，Qing Liu，Zhifei Zhang，He Zhang，Jianming Zhang，Hyunjoon Jung，Xin Eric Wang

神经2023

[项目页面] [纸]

模型架构

托多

• 发布基准
• 发布代码

消息

• [2023.07.08]我们发布了代码。

概念学习

用自己的概念培训模型

在扩散模型中，新主题将被学习为新的令牌。拥抱面提供用于培训的脚本。详细说明，您可以使用文本反演，Dreambooth，自定义扩散或任何其他概念学习模型。确保将软件包安装在相应的要求中

• 更多的源图像会导致一个更好的学习概念，因此可以更好地交换主题交换结果。例如，训练期间更多的人脸图像会导致更好的艺术人物转移。
• 对于Dreambooth而言，编码器的填充会带来更好的表现，尤其是对于人脸而言。这也需要更多的内存。

下载Photpswap型号

请联系[email protected]以获取检查点。

注意交换

遵循以下步骤进行主题交换：

1. 将经过训练的扩散模型检查点放在checkpoints文件夹中。
2. 使用需求安装包装requirements.txt pip install -r requirements.txt 。请注意，概念学习环境不适合注意互换。
3. 运行用于主题交换的real-image-swap.ipynb 。

不同学识的概念可能有不同的交换步骤来成功交换主题。调整交换步骤和文本提示以提高性能。调整权重的概念模型将在其一般概念生成的能力上降低。要与照片交换进行主题交换，需要一个具有16 GB内存的GPU。

引用

 @misc{gu2023photoswap,
      title={Photoswap: Personalized Subject Swapping in Images}, 
      author={Jing Gu and Yilin Wang and Nanxuan Zhao and Tsu-Jui Fu and Wei Xiong and Qing Liu and Zhifei Zhang and He Zhang and Jianming Zhang and HyunJoon Jung and Xin Eric Wang},
      year={2023},
      journal={Advances in Neural Information Processing Systems}
}