MobileStyleGAN.pytorch

Mobilestylegan: легкая сверточная нейронная сеть для синтеза изображений с высокой точки зрения

Официальная реализация Pytorch

Сопутствующие видео можно найти на YouTube. Для получения более подробной информации, пожалуйста, обратитесь к газете.

Требования

• Python 3.8+
• 1–8 высококачественных графических процессоров NVIDIA с не менее 12 ГБ памяти. Мы провели все тестирование и разработку с использованием рабочей станции DL с 4x2080TI

Обучение

pip install -r requirements.txt
python train.py --cfg configs/mobile_stylegan_ffhq.json --gpus < n_gpus > 

Преобразовать контрольно-пропускной пункт из Rosinality/Stylegan2-Pytorch

Наша структура поддерживает формат контрольно-пропускных пунктов StyleGAN2 от Rosinality/Stylegan2-Pytorch. Чтобы преобразовать CKPT вашей собственной контрольной точки StyleGan2 в нашу структуру:

python convert_rosinality_ckpt.py --ckpt < path_to_rosinality_stylegan2_ckpt > --ckpt-mnet < path_to_output_mapping_network_ckpt > --ckpt-snet < path_to_output_synthesis_network_ckpt > --cfg-path < path_to_output_config_json >

Проверьте конвертированную контрольную точку

Чтобы проверить, что ваша контрольная точка конвертируется правильно, просто запустите демонстрационную визуализацию:

python demo.py --cfg < path_to_output_config_json > --ckpt " " --generator teacher

Генерировать изображения с использованием Mobilestylegan

python generate.py --cfg configs/mobile_stylegan_ffhq.json --device cuda --ckpt < path_to_ckpt > --output-path < path_to_store_imgs > --batch-size < batch_size > --n-batches < n_batches > 

Оценить оценку FID

Чтобы оценить оценку FID, мы используем модифицированную версию библиотеки Pytorch-Fid:

python evaluate_fid.py < path_to_ref_dataset > < path_to_generated_imgs > 

Демо

Запустите демо -визуализацию с использованием Mobilestylegan:

python demo.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt >

Запустите визуальное сравнение с помощью Stylegan2 против Mobilestylegan:

python compare.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt > 

Преобразовать в Onnx

python train.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt > --export-model onnx --export-dir < output_dir > 

Преобразовать в Coreml

python train.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt > --export-model coreml --export-dir < output_dir > 

Развертывание с использованием OpenVino

Мы предоставляем внешнюю библиотеку random_face в качестве примера развертывания нашей модели на краевых устройствах с использованием структуры OpenVino.

Предварительные модели

Имя	Фид
mobilestylegan_ffhq.ckpt	7,75

(*) Наша структура поддерживает автоматическую загрузку предварительно предварительно проведенных моделей, просто используйте --ckpt <pretrined_model_name> .

Наследия лицензия

Код	Источник	Лицензия
Пользовательские ядра CUDA	https://github.com/nvlabs/stylegan2	Нвидиа Лицензия
Стильган2 блоки	https://github.com/rosinality/stylegan2-pytorch	Грань

Благодарности

Мы хотим поблагодарить людей, чьи работы способствовали нашему проекту ::

• Теро Каррас, Самули Лейн, Мика Аттала, Янна Хеллстен, Джаакко Лехтинен, Тимо Айла за исследования, связанные с генеративными моделями, основанными на стиле.
• Ким Сеонгён для реализации стильгана2 в Pytorch.
• Fergal Cotter для реализации дискретных вейвлет -преобразований и обратных дискретных вейвлет -преобразований в Pytorch.
• Cyril Diagne для отличной демонстрации того, как запустить Mobilestylegan непосредственно в веб-браузер.

Цитирование

Если вы используете результаты и код этой работы, пожалуйста, укажите это как:

 @misc{belousov2021mobilestylegan,
      title={MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis},
      author={Sergei Belousov},
      year={2021},
      eprint={2104.04767},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@article{BELOUSOV2021100115,
      title = {MobileStyleGAN.pytorch: PyTorch-based toolkit to compress StyleGAN2 model},
      journal = {Software Impacts},
      year = {2021},
      issn = {2665-9638},
      doi = {https://doi.org/10.1016/j.simpa.2021.100115},
      url = {https://www.sciencedirect.com/science/article/pii/S2665963821000452},
      author = {Sergei Belousov},
}