photoswap

photoswap：圖像中的個性化主題交換

Jing Gu，Yilin Wang，Nanxuan Zhao，Tsu-Jui Fu，Wei Xiong，Qing Liu，Zhifei Zhang，He Zhang，Jianming Zhang，Hyunjoon Jung，Xin Eric Wang

神經2023

[項目頁面] [紙]

模型架構

托多

• 發布基準
• 發布代碼

消息

• [2023.07.08]我們發布了代碼。

概念學習

用自己的概念培訓模型

在擴散模型中，新主題將被學習為新的令牌。擁抱面提供用於培訓的腳本。詳細說明，您可以使用文本反演，Dreambooth，自定義擴散或任何其他概念學習模型。確保將軟件包安裝在相應的要求中

• 更多的源圖像會導致一個更好的學習概念，因此可以更好地交換主題交換結果。例如，訓練期間更多的人臉圖像會導致更好的藝術人物轉移。
• 對於Dreambooth而言，編碼器的填充會帶來更好的表現，尤其是對於人臉而言。這也需要更多的內存。

下載Photpswap型號

請聯繫[email protected]以獲取檢查點。

注意交換

遵循以下步驟進行主題交換：

1. 將經過訓練的擴散模型檢查點放在checkpoints文件夾中。
2. 使用需求安裝包裝requirements.txt pip install -r requirements.txt 。請注意，概念學習環境不適合注意互換。
3. 運行用於主題交換的real-image-swap.ipynb 。

不同學識的概念可能有不同的交換步驟來成功交換主題。調整交換步驟和文本提示以提高性能。調整權重的概念模型將在其一般概念生成的能力上降低。要與照片交換進行主題交換，需要一個具有16 GB內存的GPU。

引用

 @misc{gu2023photoswap,
      title={Photoswap: Personalized Subject Swapping in Images}, 
      author={Jing Gu and Yilin Wang and Nanxuan Zhao and Tsu-Jui Fu and Wei Xiong and Qing Liu and Zhifei Zhang and He Zhang and Jianming Zhang and HyunJoon Jung and Xin Eric Wang},
      year={2023},
      journal={Advances in Neural Information Processing Systems}
}