MobileStyleGAN.pytorch

Mobilestylegan : 고 충실도 이미지 합성을위한 가벼운 컨볼 루션 신경 네트워크

공식 Pytorch 구현

함께 제공되는 비디오는 YouTube에서 찾을 수 있습니다. 자세한 내용은 종이를 참조하십시오.

요구 사항

• 파이썬 3.8+
• 최소 12GB의 메모리가있는 1–8 고급 NVIDIA GPU. 우리는 4x2080TI를 사용하여 DL 워크 스테이션을 사용하여 모든 테스트 및 개발을 수행했습니다.

훈련

pip install -r requirements.txt
python train.py --cfg configs/mobile_stylegan_ffhq.json --gpus < n_gpus > 

Rosinality/Stylegan2-Pytorch에서 검사 점을 변환하십시오

당사의 프레임 워크는 Rosinality/Stylegan2-Pytorch의 StyleGan2 Checkpoints 형식을 지원합니다. CKPT를 StyleGan2의 자신의 체크 포인트를 프레임 워크로 변환하려면 다음과 같습니다.

python convert_rosinality_ckpt.py --ckpt < path_to_rosinality_stylegan2_ckpt > --ckpt-mnet < path_to_output_mapping_network_ckpt > --ckpt-snet < path_to_output_synthesis_network_ckpt > --cfg-path < path_to_output_config_json >

변환 된 체크 포인트를 확인하십시오

체크 포인트가 올바르게 변환되었는지 확인하려면 데모 시각화 만 실행하십시오.

python demo.py --cfg < path_to_output_config_json > --ckpt " " --generator teacher

Mobilestylegan을 사용하여 이미지를 생성합니다

python generate.py --cfg configs/mobile_stylegan_ffhq.json --device cuda --ckpt < path_to_ckpt > --output-path < path_to_store_imgs > --batch-size < batch_size > --n-batches < n_batches > 

FID 점수를 평가하십시오

FID 점수를 평가하기 위해 수정 된 버전의 Pytorch-Fid 라이브러리를 사용합니다.

python evaluate_fid.py < path_to_ref_dataset > < path_to_generated_imgs > 

데모

Mobilestylegan을 사용하여 데모 시각화 실행 :

python demo.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt >

Stylegan2 vs. Mobilestylegan을 사용하여 시각적 비교 실행 :

python compare.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt > 

Onnx로 변환하십시오

python train.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt > --export-model onnx --export-dir < output_dir > 

Coreml로 변환하십시오

python train.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt > --export-model coreml --export-dir < output_dir > 

OpenVino를 사용한 배포

OpenVino 프레임 워크를 사용하여 Edge Devices에서 모델을 배포하는 예로서 외부 라이브러리 Random_face를 제공합니다.

사전 예방 모델

이름	버팀대
Mobilestylegan_ffhq.ckpt	7.75

(*) 당사의 프레임 워크는 자동 다운로드 사전화 모델을 지원하며 --ckpt <pretrined_model_name> 만 사용하십시오.

레거시 라이센스

암호	원천	특허
맞춤형 커다 커널	https://github.com/nvlabs/stylegan2	NVIDIA 라이센스
Stylegan2 블록	https://github.com/rosinality/stylegan2-pytorch	MIT

감사의 말

우리는 우리의 프로젝트에 기여한 사람들에게 감사의 말씀을 전하고 싶습니다 ::

• Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, 스타일 기반 생성 모델과 관련된 연구를위한 Timo Aila.
• Pytorch에서 Stylegan2의 구현을위한 Kim Senghyeon.
• 이산 웨이블릿 변환을 구현하기위한 Fergal Cotter 및 Pytorch에서 역 별 이산 웨이블릿 변환.
• Cyril Diagne는 Mobilestylegan을 웹 브라우저로 직접 실행하는 방법의 훌륭한 데모를위한 Cyril Diagne입니다.

소환

이 작업의 결과와 코드를 사용하는 경우 다음과 같이 인용하십시오.

 @misc{belousov2021mobilestylegan,
      title={MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis},
      author={Sergei Belousov},
      year={2021},
      eprint={2104.04767},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@article{BELOUSOV2021100115,
      title = {MobileStyleGAN.pytorch: PyTorch-based toolkit to compress StyleGAN2 model},
      journal = {Software Impacts},
      year = {2021},
      issn = {2665-9638},
      doi = {https://doi.org/10.1016/j.simpa.2021.100115},
      url = {https://www.sciencedirect.com/science/article/pii/S2665963821000452},
      author = {Sergei Belousov},
}