الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

Mobilestylegan: شبكة عصبية تلغيرات خفيفة لتوليف صورة عالية الدقة

تنفيذ Pytorch الرسمي

يمكن العثور على مقاطع الفيديو المصاحبة على YouTube. لمزيد من التفاصيل ، يرجى الرجوع إلى الورقة.

متطلبات

  • بيثون 3.8+
  • 1-8 GPU NVIDIA الراقية مع ما لا يقل عن 12 جيجابايت من الذاكرة. لقد أجرينا كل الاختبارات والتطوير باستخدام محطة عمل DL مع 4x2080TI

تمرين 

pip install -r requirements.txt
python train.py --cfg configs/mobile_stylegan_ffhq.json --gpus < n_gpus >

تحويل نقطة التفتيش من Rosinality/Stylegan2-Pytorch

يدعم Framework تنسيق نقاط التفتيش Stylegan2 من Rosinality/Stylegan2-Pytorch. لتحويل CKPT نقطة التفتيش الخاصة بك من stylegan2 إلى إطارنا: 

python convert_rosinality_ckpt.py --ckpt < path_to_rosinality_stylegan2_ckpt > --ckpt-mnet < path_to_output_mapping_network_ckpt > --ckpt-snet < path_to_output_synthesis_network_ckpt > --cfg-path < path_to_output_config_json >

تحقق من نقطة التفتيش المحولة

للتحقق من أنه يتم تحويل نقطة التفتيش بشكل صحيح ، ما عليك سوى تشغيل التصور التجريبي: 

python demo.py --cfg < path_to_output_config_json > --ckpt " " --generator teacher

إنشاء صور باستخدام Mobilestylegan 

python generate.py --cfg configs/mobile_stylegan_ffhq.json --device cuda --ckpt < path_to_ckpt > --output-path < path_to_store_imgs > --batch-size < batch_size > --n-batches < n_batches >

تقييم درجة FID

لتقييم درجة FID ، نستخدم نسخة معدلة من مكتبة Pytorch-Fid: 

python evaluate_fid.py < path_to_ref_dataset > < path_to_generated_imgs >

العرض التوضيحي

تشغيل التصور التجريبي باستخدام Mobilestylegan: 

python demo.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt >

قم بتشغيل المقارنة المرئية باستخدام Stylegan2 مقابل Mobilestylegan: 

python compare.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt >

تحويل إلى ONNX 

python train.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt > --export-model onnx --export-dir < output_dir >

تحويل إلى coreml 

python train.py --cfg configs/mobile_stylegan_ffhq.json --ckpt < path_to_ckpt > --export-model coreml --export-dir < output_dir >

النشر باستخدام Openvino

نحن نقدم مكتبة خارجية عشوائية _ face كمثال على نشر نموذجنا في أجهزة الحافة باستخدام إطار OpenVino.

نماذج ما قبل

اسم fid
mobilestylegan_ffhq.ckpt 7.75

(*) يدعم إطار عملنا النماذج التلقائية للتنزيل ، فقط استخدم --ckpt <pretrined_model_name> .

ترخيص إرث

شفرة مصدر رخصة
مخصصة CUDA النواة https://github.com/nvlabs/stylegan2 ترخيص Nvidia
stylegan2 كتل https://github.com/rosinality/stylegan2-pytorch معهد ماساتشوستس للتكنولوجيا

شكر وتقدير

نريد أن نشكر الأشخاص الذين ساهمت أعمالهم في مشروعنا ::

  • Tero Karras ، Samuli Laine ، Miika Aittala ، Janne Hellsten ، Jaakko Lehtinen ، Timo Aila للبحث المتعلق بالنماذج التوليدية القائمة على الأسلوب.
  • كيم سونغيون لتنفيذ Stylegan2 في Pytorch.
  • Cotter fergal لتنفيذ تحويلات المويجات المنفصلة وتحويل المويجات المنفصلة العكسية في pytorch.
  • Cyril diagne من أجل العرض التوضيحي الممتاز لكيفية تشغيل mobilestylegan مباشرة في متصفح الويب.

اقتباس

إذا كنت تستخدم نتائج ورمز هذا العمل ، فيرجى الاستشهاد به على النحو التالي: 

 @misc{belousov2021mobilestylegan,
      title={MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis},
      author={Sergei Belousov},
      year={2021},
      eprint={2104.04767},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@article{BELOUSOV2021100115,
      title = {MobileStyleGAN.pytorch: PyTorch-based toolkit to compress StyleGAN2 model},
      journal = {Software Impacts},
      year = {2021},
      issn = {2665-9638},
      doi = {https://doi.org/10.1016/j.simpa.2021.100115},
      url = {https://www.sciencedirect.com/science/article/pii/S2665963821000452},
      author = {Sergei Belousov},
}
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل