MobileStyleGAN.pytorch

Mobilestylegan: Jaringan saraf konvolusional yang ringan untuk sintesis gambar kesetiaan tinggi

Implementasi Pytorch resmi

Video yang menyertainya dapat ditemukan di YouTube. Untuk detail lebih lanjut, silakan merujuk ke kertas.

Persyaratan

• Python 3.8+
• 1–8 GPU NVIDIA kelas atas dengan setidaknya 12 GB memori. Kami telah melakukan semua pengujian dan pengembangan menggunakan workstation DL dengan 4x2080ti

Pelatihan

pip install -r requirements.txt
python train.py --cfg configs/mobile_stylegan_ffhq.json --gpus < n_gpus > 

Konversi pos pemeriksaan dari rosinalitas/stylegan2-pytorch

Kerangka kerja kami mendukung format pos pemeriksaan StyleGan2 dari rosinalitas/stylegan2-pytorch. Untuk mengonversi CKPT pos pemeriksaan Anda sendiri tentang StyleGan2 ke kerangka kerja kami:

python convert_rosinality_ckpt.py --ckpt < path_to_rosinality_stylegan2_ckpt > --ckpt-mnet < path_to_output_mapping_network_ckpt > --ckpt-snet < path_to_output_synthesis_network_ckpt > --cfg-path < path_to_output_config_json >

Periksa pos pemeriksaan yang dikonversi

Untuk memeriksa apakah pos pemeriksaan Anda dikonversi dengan benar, cukup jalankan visualisasi demo:

python demo.py --cfg < path_to_output_config_json > --ckpt " " --generator teacher

Menghasilkan gambar menggunakan mobilestylegan

python generate.py --cfg configs/mobile_stylegan_ffhq.json --device cuda --ckpt < path_to_ckpt > --output-path < path_to_store_imgs > --batch-size < batch_size > --n-batches < n_batches > 

Mengevaluasi skor FID

Untuk mengevaluasi skor FID, kami menggunakan versi Modified dari Pytorch-Fid Library:

python evaluate_fid.py < path_to_ref_dataset > < path_to_generated_imgs > 

Demo

Jalankan visualisasi demo menggunakan Mobilestylegan:

python demo.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt >

Jalankan Perbandingan Visual Menggunakan StyleGan2 vs Mobilestylegan:

python compare.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt > 

Konversi ke Onnx

python train.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt > --export-model onnx --export-dir < output_dir > 

Konversi ke Coreml

python train.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt > --export-model coreml --export-dir < output_dir > 

Penempatan menggunakan OpenVino

Kami menyediakan Perpustakaan Eksternal Random_face sebagai contoh menggunakan model kami di perangkat tepi menggunakan kerangka OpenVino.

Model pretrained

Nama	Fid
Mobilestylegan_ffhq.ckpt	7.75

(*) Kerangka kerja kami mendukung model pretrain unduhan otomatis, cukup gunakan --ckpt <pretrined_model_name> .

Lisensi Legacy

Kode	Sumber	Lisensi
Kernel CUDA Kustom	https://github.com/nvlabs/stylegan2	Lisensi NVIDIA
Blok StyleGan2	https://github.com/rosinality/stylegan2-pytorch	Mit

Ucapan Terima Kasih

Kami ingin mengucapkan terima kasih kepada orang -orang yang karyanya berkontribusi pada proyek kami ::

• Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, Timo Aila untuk penelitian yang terkait dengan model generatif berbasis gaya.
• Kim Seonghyeon untuk implementasi StyleGan2 di Pytorch.
• Fergal Cotter untuk implementasi transformasi wavelet diskrit dan transformasi wavelet diskrit terbalik dalam pytorch.
• Cyril Diagne untuk demo yang sangat baik tentang cara menjalankan Mobilestylegan langsung ke browser web.

Kutipan

Jika Anda menggunakan hasil dan kode pekerjaan ini, silakan mengutipnya sebagai:

 @misc{belousov2021mobilestylegan,
      title={MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis},
      author={Sergei Belousov},
      year={2021},
      eprint={2104.04767},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@article{BELOUSOV2021100115,
      title = {MobileStyleGAN.pytorch: PyTorch-based toolkit to compress StyleGAN2 model},
      journal = {Software Impacts},
      year = {2021},
      issn = {2665-9638},
      doi = {https://doi.org/10.1016/j.simpa.2021.100115},
      url = {https://www.sciencedirect.com/science/article/pii/S2665963821000452},
      author = {Sergei Belousov},
}