الصفحة الرئيسية>المتعلقة بالبرمجة>بايثون
تنزيل

لوحة: نماذج نشر صورة إلى صورة

ورقة | مشروع

مختصر

هذا تطبيق غير رسمي للوحة: نماذج نشر الصورة إلى الصورة من قبل Pytorch ، ويرثت بشكل أساسي من النسخة الفائقة الدقة الخاصة بها-إعادة الدقة-الدقة-التهدئة. قالب الكود من مشروع البذور الخاص بي: موزع بيتورش توك.

هناك بعض تفاصيل التنفيذ مع أوصاف الورق:

  • قمنا بتكييف بنية U-NET المستخدمة في Guided-Diffusion ، والتي تعطي دفعة كبيرة لعينة الجودة.
  • استخدمنا آلية الانتباه في الميزات منخفضة الدقة (16 × 16) مثل الفانيليا DDPM .
  • نحن نرمز $ gamma $ بدلا من $ t $ في Palette وتضمينها مع تحول Affine.
  • نحن نصلح التباين $ σ_ theta (x_t ، t) $ إلى ثابت أثناء الاستدلال كما هو موضح في Palette .

حالة

شفرة

  • خط أنابيب نموذج الانتشار
  • عملية القطار/الاختبار
  • حفظ/تحميل حالة التدريب
  • المسجل/Tensorboard
  • التدريب المتعدد على وحدة معالجة الرسومات (DDP)
  • ema
  • مقاييس (الآن من أجل FID ، هي)
  • مجموعة البيانات (الآن من أجل inpainting ، uncroping ، colorization)
  • البرنامج النصي google colab؟ (الآن من أجل inpainting)

مهمة

أحاول إنهاء المهام التالية بالترتيب:

  • inpainting على combahq (Google Colab)
  • inpainting على الأماكن 2 مع قناع تركز 128 × 128

تجربة المتابعة غير مؤكدة ، بسبب قلة الوقت وموارد GPU:

  • uncroping على الأماكن 2
  • تلوين على مجموعة ImageNet Val

نتائج

يتطلب نموذج DDPM موارد حسابية كبيرة ، وقد قمنا فقط ببناء بعض النماذج على سبيل المثال للتحقق من صحة الأفكار في هذه الورقة.

صور

Celeba-HQ

النتائج مع 200 عصر وتكرار 930K ، وأول 100 عينة في القناع المركز وقناع غير منتظم.

Process_02323Process_02323

أماكن 2 مع قناع تركز 128 × 128

النتائج مع 16 عصر وتكرار 660 ألف ، والعديد من العينات التي اختارت في القناع المركزي.

Mask_places365_test_00209019.jpgMask_places365_test_00143399.jpgMask_places365_test_00263905.jpgMask_places365_test_00144085.jpg
out_places365_test_00209019out_places365_test_00143399.jpgout_places365_test_00263905.jpgout_places365_test_00144085.jpg

uncroping على الأماكن 2

النتائج مع 8 عصر وتكرار 330k ، والعديد من العينات التي اختارت في غير متكافئة.

Process_places365_test_00309553Process_places365_test_00042384

المقاييس

المهام مجموعة البيانات ema FID (-) هو (+)
inpainting مع قناع تركز Celeba-HQ خطأ شنيع 5.7873 3.0705
inpainting مع قناع غير منتظم Celeba-HQ خطأ شنيع 5.4026 3.1221

الاستخدام

بيئة 

 pip install - r requirements . txt

نموذج تدريب مسبقًا

مجموعة البيانات مهمة التكرارات GPUS × أيام × BS عنوان URL
Celeba-HQ inpainting 930k 2 × 5 × 3 محرك Google
الأماكن 2 inpainting 660K 4 × 8 × 10 محرك Google

يشير BS إلى حجم العينة لكل وحدة معالجة الرسومات.

إعداد البيانات

نحصل على معظمهم من Kaggle ، والتي قد تكون مختلفة قليلاً عن الإصدار الرسمي ، ويمكنك أيضًا تنزيلها من موقع الويب الرسمي.

  • Celeba-HQ تغيير حجمه (256x256) Kaggle
  • أماكن 2 مسؤول | أماكن 2 kaggle
  • ImageNet المسؤول

نستخدم التقسيم الافتراضي لمجموعات البيانات هذه للتدريب والتقييم. يمكن العثور على قوائم الملفات التي نستخدمها في Celeba-HQ ، الأماكن 2.

بعد إعداد البيانات الخاصة ، تحتاج إلى تعديل ملف التكوين المقابل للإشارة إلى بياناتك. خذ ما يلي كمثال: 

 " which_dataset " : {  // import designated dataset using arguments 
    " name " : ["data.dataset", "InpaintDataset"], // import Dataset() class
    " args " :{ // arguments to initialize dataset
    	" data_root " : " your data path " ,
    	" data_len " : -1,
    	" mask_mode " : " hybrid "
    } 
},

يمكن أيضًا العثور على مزيد من الخيارات حول Dataloader و Distalding Split في datasets جزء من ملف تكوين.

التدريب/السيرة الذاتية التدريب

  1. قم بتنزيل نقاط التفتيش من الروابط المعطاة.
  2. اضبط resume_state من ملف تكوين إلى دليل نقطة التفتيش السابقة. خذ ما يلي كمثال ، يحتوي هذا الدليل على حالات تدريب ونموذج محفوظ: 
 " path " : { //set every part file path
	" resume_state " : "experiments/inpainting_celebahq_220426_150122/checkpoint/100" 
},
  1. قم بتعيين علامة الشبكة الخاصة بك في وظيفة load_everything من model.py . اتبع إعدادات البرنامج التعليمي ، وسيتم تحميل الأمثل والموديلات من 100.state و 100_network.pth على التوالي. 
 netG_label = self . netG . __class__ . __name__
self . load_network ( network = self . netG , network_label = netG_label , strict = False )
  1. قم بتشغيل البرنامج النصي: 
 python run . py - p train - c config / inpainting_celebahq . json

نحن نختبر العمود الفقري U-Net المستخدم في SR3 Guided Diffusion ، ونشره Guided Diffusion أحد الأداء الأكثر قوة في تجاربنا الحالية. يمكن العثور على مزيد من الخيارات حول العمود الفقري والخسارة والمقياس في جزء من ملف which_networks .

امتحان

  1. قم بتعديل ملف التكوين للإشارة إلى بياناتك باتباع الخطوات الواردة في إعداد البيانات .
  2. اضبط مسار النموذج الخاص بك باتباع خطوات التدريب على السيرة الذاتية .
  3. قم بتشغيل البرنامج النصي: 
 python run . py - p test - c config / inpainting_celebahq . json

تقييم

  1. قم بإنشاء مجلدين لتوفير صور الحقيقة الأرضية وعينة الصور ، ويجب أن تتوافق أسماء الملفات مع بعضها البعض.

  2. قم بتشغيل البرنامج النصي: 

 python eval . py - s [ ground image path ] - d [ sample image path ]

يُقرّ

يعتمد عملنا على الأعمال النظرية التالية:

  • نماذج احتمالية الانتشار
  • لوحة: نماذج نشر صورة إلى صورة
  • نماذج الانتشار تغلب على Gans على تخليق الصور

ونحن نستفيد كثيرًا من المشاريع التالية:

  • Openai/Diveled-Diffusion
  • لويسروسي/النموذج القائم على الانتشار
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل