Palette Image to Image Diffusion Models

Palet: Model difusi gambar-ke-gambar

Kertas | Proyek

Singkat

Ini adalah implementasi palet yang tidak resmi: model difusi gambar-ke-gambar oleh Pytorch , dan terutama diwarisi dari versi super-resolusi gambar-super-resolution-via-iterative-refinement. Templat kode berasal dari proyek benih saya yang lain: didistribusikan-pytorch-template.

Ada beberapa detail implementasi dengan deskripsi kertas:

• Kami mengadaptasi arsitektur U-NET yang digunakan dalam Guided-Diffusion , yang memberikan dorongan substansial untuk kualitas sampel.
• Kami menggunakan mekanisme perhatian dalam fitur resolusi rendah (16 × 16) seperti vanilla DDPM .
• Kami menyandikan $ gamma $ daripada $ t $ dalam Palette dan embedanya dengan transformasi affine.
• Kami memperbaiki varian $ Σ_ theta (x_t, t) $ ke konstan selama kesimpulan seperti yang dijelaskan dalam Palette .

Status

Kode

• Pipa Model Difusi
• Proses kereta/tes
• Simpan/memuat status pelatihan
• Logger/Tensorboard
• Pelatihan GPU Berganda (DDP)
• Ema
• Metrik (sekarang untuk fid, is)
• Dataset (sekarang untuk inpainting, uncropping, pewarnaan)
• Google Colab Script? (Sekarang untuk inpainting)

Tugas

Saya mencoba menyelesaikan tugas berikut secara berurutan:

• Inpainting di Celebahq (Google Colab)
• Inpainting on Places2 dengan 128 × 128 Centering Mask

Eksperimen tindak lanjut tidak pasti, karena kurangnya waktu dan sumber daya GPU:

• Menghentikan tempat2
• Pewarnaan pada set imagenet val

Hasil

Model DDPM membutuhkan sumber daya komputasi yang signifikan, dan kami hanya membangun beberapa contoh model untuk memvalidasi ide -ide dalam makalah ini.

Visual

Celeba-hq

Hasil dengan 200 zaman dan iterasi 930k, dan 100 sampel pertama dalam topeng centering dan topeng tidak teratur.

Places2 dengan 128 × 128 Topeng Pusat

Hasil dengan 16 zaman dan iterasi 660k, dan beberapa sampel memilih dalam topeng centering.

Menghentikan tempat2

Hasil dengan 8 zaman dan iterasi 330k, dan beberapa sampel memilih dalam uncropping.

Metrik

Tugas	Dataset	Ema	FID (-)	Adalah (+)
Menghain dengan topeng centering	Celeba-hq	PALSU	5.7873	3.0705
Inpainting dengan topeng tidak teratur	Celeba-hq	PALSU	5.4026	3.1221

Penggunaan

Lingkungan

 pip install - r requirements . txt

Model pra-terlatih

Dataset	Tugas	Iterasi	GPU × Hari × BS	Url
Celeba-hq	Inpainting	930k	2 × 5 × 3	Google Drive
Tempat2	Inpainting	660k	4 × 8 × 10	Google Drive

BS menunjukkan ukuran sampel per GPU.

Persiapan data

Kami mendapatkan sebagian besar dari mereka dari Kaggle, yang mungkin sedikit berbeda dari versi resmi, dan Anda juga dapat mengunduhnya dari situs web resmi.

• Celeba-HQ diubah ukurannya (256x256) Kaggle
• Places2 Pejabat | Places2 Kaggle
• Pejabat Imagenet

Kami menggunakan divisi default dari set data ini untuk pelatihan dan evaluasi. Daftar file yang kami gunakan dapat ditemukan di Celeba-HQ, Places2.

Setelah menyiapkan data sendiri, Anda perlu memodifikasi file konfigurasi yang sesuai untuk menunjuk ke data Anda. Ambil berikut sebagai contoh:

 " which_dataset " : {  // import designated dataset using arguments 
    " name " : ["data.dataset", "InpaintDataset"], // import Dataset() class
    " args " :{ // arguments to initialize dataset
    	" data_root " : " your data path " ,
    	" data_len " : -1,
    	" mask_mode " : " hybrid "
    } 
},

Lebih banyak pilihan tentang DataLoader dan validasi split juga dapat ditemukan di datasets bagian dari file configure.

Pelatihan/Pelatihan Lanjutkan

1. Unduh pos pemeriksaan dari tautan yang diberikan.
2. Atur resume_state dari file configure ke direktori pos pemeriksaan sebelumnya. Ambil contoh berikut, direktori ini berisi status pelatihan dan model yang disimpan:

 " path " : { //set every part file path
	" resume_state " : "experiments/inpainting_celebahq_220426_150122/checkpoint/100" 
},

2. Atur label jaringan Anda dalam fungsi load_everything dari model.py , default adalah jaringan . Ikuti pengaturan tutorial, pengoptimal dan model akan dimuat dari 100.State dan 100_network.pth.

 netG_label = self . netG . __class__ . __name__
self . load_network ( network = self . netG , network_label = netG_label , strict = False )

3. Jalankan skrip:

 python run . py - p train - c config / inpainting_celebahq . json

Kami menguji tulang punggung U-Net yang digunakan dalam SR3 dan Guided Diffusion , dan Guided Diffusion seseorang memiliki kinerja yang lebih kuat dalam percobaan kami saat ini. Lebih banyak pilihan tentang tulang punggung , kehilangan dan metrik dapat ditemukan di bagian which_networks File.

Tes

1. Ubah file konfigurasi untuk menunjuk ke data Anda mengikuti langkah -langkah dalam bagian persiapan data .
2. Atur jalur model Anda mengikuti langkah -langkah dalam bagian pelatihan resume .
3. Jalankan skrip:

 python run . py - p test - c config / inpainting_celebahq . json

Evaluasi

1. Buat dua folder yang menyimpan gambar kebenaran tanah dan sampel gambar, dan nama file mereka harus saling berhubungan.

2. Jalankan skrip:

 python eval . py - s [ ground image path ] - d [ sample image path ]

Mengakui

Pekerjaan kami didasarkan pada karya teoretis berikut:

• Model probabilistik difusi denoising
• Palet: Model difusi gambar-ke-gambar
• Model difusi mengalahkan GAN pada sintesis gambar

Dan kami mendapat banyak manfaat dari proyek -proyek berikut:

• OpenAI/Difusion dipandu
• Louisrouss/Difusi-Based-Model-For-Colorisasi