Palette Image to Image Diffusion Models

Palette: Image-zu-Image-Diffusionsmodelle

Papier | Projekt

Knapp

Dies ist eine inoffizielle Implementierung von Palette: Image-zu-Image-Diffusionsmodelle von Pytorch und wird hauptsächlich von seiner Superauflösungsversion im Bild-Super-Auflösungs-VIA-Iiterativ-Refinement geerbt. Die Codevorlage stammt aus meinem anderen Saatgutprojekt: verteilt-pytorch-Template.

Es gibt einige Implementierungsdetails mit Papierbeschreibungen:

• Wir haben die U-NET-Architektur in Guided-Diffusion angepasst, die der Stichprobenqualität erheblich steigert.
• Wir haben den Aufmerksamkeitsmechanismus in Merkmalen mit niedriger Auflösung (16 × 16) wie Vanille- DDPM verwendet.
• Wir codieren die $ gamma $ statt $ t $ in Palette und einbetten Sie es mit affine Transformation ein.
• Wir beheben die Varianz $ Σ_ theta (x_t, t) $ zu einer Konstante während der Inferenz, wie in Palette beschrieben.

Status

Code

• Diffusionsmodellpipeline
• Zug/Testprozess
• Trainingszustand speichern/laden
• Logger/Tensorboard
• Mehrfacher GPU -Training (DDP)
• EMA
• Metriken (jetzt für FID, ist)
• Datensatz (jetzt zum Inpainting, Uncropping, Colorizing)
• Google Colab -Skript? (Jetzt zum Inpainting)

Aufgabe

Ich versuche die folgenden Aufgaben in Ordnung zu beenden:

• Inpainting auf Celebahq (Google Colab)
• Inpaelling auf Plätzen2 mit 128 × 128 Zentriermaske

Das Follow-up-Experiment ist aufgrund mangelnder Zeit- und GPU-Ressourcen ungewiss:

• Auf Orte entfalten2
• Farbisation auf dem ImageNet Val Set

Ergebnisse

Das DDPM -Modell erfordert erhebliche Rechenressourcen, und wir haben nur einige Beispielmodelle erstellt, um die Ideen in diesem Artikel zu validieren.

Bilder

Celeba-HQ

Ergebnisse mit 200 Epochen und 930.000 Iterationen sowie die ersten 100 Proben in Zentriermaske und unregelmäßiger Maske.

Plätze2 mit 128 × 128 Zentriermaske

Ergebnisse mit 16 Epochen und 660K -Iterationen und den mehreren ausgewählten Proben in der Zentriermaske.

Auf Orte entfalten2

Ergebnisse mit 8 Epochen und 330.000 Iterationen und die verschiedenen ausgewählten Proben in Enthüllung.

Metriken

Aufgaben	Datensatz	EMA	Fid (-)	Ist (+)
Inpainting mit Zentriermaske	Celeba-HQ	FALSCH	5.7873	3.0705
Inpainting mit unregelmäßiger Maske	Celeba-HQ	FALSCH	5.4026	3.1221

Verwendung

Umfeld

 pip install - r requirements . txt

Vorausgebildeter Modell

Datensatz	Aufgabe	Iterationen	GPUs × Tage × Bs	URL
Celeba-HQ	Inpainting	930k	2 × 5 × 3	Google Drive
Plätze2	Inpainting	660k	4 × 8 × 10	Google Drive

BS zeigt die Probengröße pro GPU an.

Daten vorbereiten

Wir erhalten die meisten von ihnen von Kaggle, die sich möglicherweise etwas von der offiziellen Version unterscheiden, und Sie können sie auch von der offiziellen Website herunterladen.

• Celeba-HQ-gegründete Größe (256x256) Kaggle
• Places2 offiziell | Places2 Kaggle
• ImageNet Offiziell

Wir verwenden die Standardabteilung dieser Datensätze für Schulungen und Bewertung. Die von uns verwendeten Dateilisten finden Sie in Celeba-HQ, Places2.

Nachdem Sie eigene Daten erstellt haben, müssen Sie die entsprechende Konfigurationsdatei so ändern, dass sie auf Ihre Daten verweisen. Nehmen Sie das Folgende als Beispiel:

 " which_dataset " : {  // import designated dataset using arguments 
    " name " : ["data.dataset", "InpaintDataset"], // import Dataset() class
    " args " :{ // arguments to initialize dataset
    	" data_root " : " your data path " ,
    	" data_len " : -1,
    	" mask_mode " : " hybrid "
    } 
},

Weitere Auswahlmöglichkeiten zum DataLoader und zur Validierungsaufteilung finden Sie auch in datasets die Teil der Konfigurationsdatei sind.

Training/Lebenslauf -Training

1. Laden Sie die Kontrollpunkte von angegebenen Links herunter.
2. Setzen Sie resume_state der Datei auf das Verzeichnis des vorherigen Checkpoint. Nehmen wir Folgendes als Beispiel: Dieses Verzeichnis enthält Schulungszustände und ein gespeichertes Modell:

 " path " : { //set every part file path
	" resume_state " : "experiments/inpainting_celebahq_220426_150122/checkpoint/100" 
},

2. Legen Sie Ihre Netzwerkkennzeichnung in der Funktion load_everything von model.py fest, Standard ist Netzwerk . Befolgen Sie die Tutorial -Einstellungen, die Optimierer und Modelle werden von 100.State bzw. 100_network.PTH geladen.

 netG_label = self . netG . __class__ . __name__
self . load_network ( network = self . netG , network_label = netG_label , strict = False )

3. Führen Sie das Skript aus:

 python run . py - p train - c config / inpainting_celebahq . json

Wir testen das in SR3 verwendete U-NET-Rückgrat und die Guided Diffusion Guided Diffusion und haben in unseren aktuellen Experimenten eine robustere Leistung. Weitere Auswahlmöglichkeiten zu Rückgrat , Verlust und Metrik finden Sie in which_networks Teil der Konfigurationsdatei.

Prüfen

1. Ändern Sie die Datei konfigurieren, um auf Ihre Daten zu verweisen, die die Schritte im Datenvorbereiten vorbereiten.
2. Stellen Sie Ihren Modellpfad den Schritten im Lebenslauf -Trainingsteil ein.
3. Führen Sie das Skript aus:

 python run . py - p test - c config / inpainting_celebahq . json

Auswertung

1. Erstellen Sie zwei Ordner, die Bodenwahrheitsbilder und Beispielbilder speichern, und ihre Dateinamen müssen sich gegenseitig entsprechen.

2. Führen Sie das Skript aus:

 python eval . py - s [ ground image path ] - d [ sample image path ]

Anerkennen

Unsere Arbeit basiert auf folgenden theoretischen Werken:

• Denoising diffusion probabilistische Modelle
• Palette: Image-zu-Image-Diffusionsmodelle
• Diffusionsmodelle schlagen Gans zur Bildsynthese

Und wir profitieren viel von den folgenden Projekten:

• OpenAI/Guided-Diffusion
• Louisrouss/Diffusions-basierte Model-für-Farben