หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

Mobilestylegan: เครือข่ายประสาทที่มีน้ำหนักเบาสำหรับการสังเคราะห์ภาพความเที่ยงตรงสูง

การใช้งาน Pytorch อย่างเป็นทางการ

วิดีโอประกอบสามารถพบได้บน YouTube สำหรับรายละเอียดเพิ่มเติมโปรดดูที่กระดาษ

ความต้องการ

  • Python 3.8+
  • 1–8 NVIDIA GPU ระดับสูงที่มีหน่วยความจำอย่างน้อย 12 GB เราได้ทำการทดสอบและพัฒนาทั้งหมดโดยใช้ DL Workstation ด้วย 4x2080TI

การฝึกอบรม 

pip install -r requirements.txt
python train.py --cfg configs/mobile_stylegan_ffhq.json --gpus < n_gpus >

แปลงจุดตรวจสอบจาก Rosinality/Stylegan2-Pytorch

เฟรมเวิร์กของเรารองรับรูปแบบจุดตรวจ Stylegan2 จาก Rosinality/Stylegan2-Pytorch ในการแปลง CKPT จุดตรวจของคุณเองของ Stylegan2 เป็นกรอบของเรา: 

python convert_rosinality_ckpt.py --ckpt < path_to_rosinality_stylegan2_ckpt > --ckpt-mnet < path_to_output_mapping_network_ckpt > --ckpt-snet < path_to_output_synthesis_network_ckpt > --cfg-path < path_to_output_config_json >

ตรวจสอบจุดตรวจที่แปลงแล้ว

หากต้องการตรวจสอบว่าจุดตรวจสอบของคุณได้รับการแปลงอย่างถูกต้องเพียงเรียกใช้การแสดงภาพตัวอย่าง: 

python demo.py --cfg < path_to_output_config_json > --ckpt " " --generator teacher

สร้างภาพโดยใช้ Mobilestylegan 

python generate.py --cfg configs/mobile_stylegan_ffhq.json --device cuda --ckpt < path_to_ckpt > --output-path < path_to_store_imgs > --batch-size < batch_size > --n-batches < n_batches >

ประเมินคะแนน FID

ในการประเมินคะแนน FID เราใช้ไลบรารี Pytorch-Fid เวอร์ชันที่แก้ไขแล้ว: 

python evaluate_fid.py < path_to_ref_dataset > < path_to_generated_imgs >

การสาธิต

เรียกใช้การแสดงภาพตัวอย่างโดยใช้ Mobilestylegan: 

python demo.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt >

เรียกใช้การเปรียบเทียบภาพโดยใช้ Stylegan2 vs. Mobilestylegan: 

python compare.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt >

แปลงเป็น onnx 

python train.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt > --export-model onnx --export-dir < output_dir >

แปลงเป็น coreml 

python train.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt > --export-model coreml --export-dir < output_dir >

การปรับใช้โดยใช้ openvino

เราให้บริการไลบรารีภายนอกแบบสุ่มเป็นตัวอย่างของการปรับใช้โมเดลของเราที่อุปกรณ์ขอบโดยใช้เฟรมเวิร์ก OpenVino

นางแบบที่ได้รับการฝึกฝน

ชื่อ บด
Mobilestylegan_ffhq.ckpt 7.75

(*) เฟรมเวิร์กของเรารองรับการดาวน์โหลดแบบอัตโนมัติรุ่นที่ผ่านการฝึกอบรมเพียงแค่ใช้ --ckpt <pretrined_model_name>

ใบอนุญาตมรดก

รหัส แหล่งที่มา ใบอนุญาต
เคอร์เนล cuda ที่กำหนดเอง https://github.com/nvlabs/stylegan22 ใบอนุญาต nvidia
บล็อก Stylegan2 https://github.com/rosinality/stylegan2-pytorch มิกซ์

กิตติกรรมประกาศ

เราอยากจะขอบคุณผู้คนที่มีผลงานทำโครงการของเรา ::

  • Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, Timo Aila สำหรับการวิจัยที่เกี่ยวข้องกับรูปแบบการกำเนิดตามสไตล์
  • Kim Seonghyeon สำหรับการใช้งาน Stylegan2 ใน Pytorch
  • Fergal Cotter สำหรับการใช้งานการแปลงเวฟเล็ตแบบไม่ต่อเนื่องและการแปลงเวฟเล็ตแบบไม่ต่อเนื่องใน pytorch
  • Cyril Diagne สำหรับการสาธิตที่ยอดเยี่ยมของวิธีการเรียกใช้ Mobilestylegan โดยตรงในเว็บเบราว์เซอร์

การอ้างอิง

หากคุณใช้ผลลัพธ์และรหัสของงานนี้โปรดอ้างอิงเป็น: 

 @misc{belousov2021mobilestylegan,
      title={MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis},
      author={Sergei Belousov},
      year={2021},
      eprint={2104.04767},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@article{BELOUSOV2021100115,
      title = {MobileStyleGAN.pytorch: PyTorch-based toolkit to compress StyleGAN2 model},
      journal = {Software Impacts},
      year = {2021},
      issn = {2665-9638},
      doi = {https://doi.org/10.1016/j.simpa.2021.100115},
      url = {https://www.sciencedirect.com/science/article/pii/S2665963821000452},
      author = {Sergei Belousov},
}
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด