photoswap

PhotoSwap: персонализированное обмен темы на изображениях

Цзин Гу, Йилин Ван, Нанксуан Чжао, Цу-Джуи Фу, Вэй Сионг, Цин Лю, Жифэй Чжан, Хе Чжан, Цзянминг Чжан, Хёнджун Юнг, Синь Эрик Ванг

Neurips 2023

[Страница проекта] [бумага]

Модель архитектура

Тодо

• Выпуск
• Выпустить код

Новости

• [2023.07.08] Мы выпустили наш код.

Концепция обучения

Обучение модели с вашей собственной концепцией

Новый предмет будет изучен как новый токен в диффузионной модели. Huggingface предоставляет сценарии для обучения. Подробно, вы можете использовать инверсию текста, Dreambooth, пользовательскую диффузию или любую другую модель обучения концепции. Обязательно установите пакет в соответствующие требования.

• Больше исходных изображений приводит к лучшей изученной концепции и, следовательно, лучшего результата обмена предметами. Например, больше изображений человеческого лица во время тренировки приводят к лучшему передаче художественной фигуры.
• Для Dreambooth создание энкодера приводит к лучшему выступлению, особенно для человеческого лица. Это также потребует большей памяти.

Скачать модели PhotpSwap

Пожалуйста, свяжитесь с [email protected] для контрольных точек.

Обращение внимания

Следуя приведенным ниже шагам для обмена предметами:

1. Поместите контрольную точку обученной диффузионной модели в папку checkpoints .
2. Установите пакет pip install -r requirements.txt используя requirements.txt . Обратите внимание, что концепция обучения не подходит для обмена вниманием.
3. Запуск real-image-swap.ipynb для обмена предмета.

Различные изученные концепции могут иметь разные шаги для обмена для успешного обмена предмета. Настройка шага обмена и текстовую подсказку для лучшей производительности. Концептуальная модель, настраиваемая в весах, будет иметь обезболивание в своей способности на генерацию общей концепции. Чтобы обмениваться предметом с помощью Photoswap, требуется один графический процессор с памятью 16 ГБ.

Цитирование

 @misc{gu2023photoswap,
      title={Photoswap: Personalized Subject Swapping in Images}, 
      author={Jing Gu and Yilin Wang and Nanxuan Zhao and Tsu-Jui Fu and Wei Xiong and Qing Liu and Zhifei Zhang and He Zhang and Jianming Zhang and HyunJoon Jung and Xin Eric Wang},
      year={2023},
      journal={Advances in Neural Information Processing Systems}
}