Palette Image to Image Diffusion Models

Palette: modèles de diffusion d'image à l'image

Papier | Projet

Bref

Il s'agit d'une implémentation non officielle de la palette: modèles de diffusion d'image à l'image par Pytorch , et il est principalement hérité de sa version super-résolution Image-Super-Resolution-Via-iterative-Refinement. Le modèle de code provient de mon autre projet de semence: Template de pytorch distribué.

Il existe des détails de mise en œuvre avec des descriptions de papier:

• Nous avons adapté l'architecture U-NET utilisée en Guided-Diffusion , ce qui donne un coup de pouce substantiel à la qualité de l'échantillon.
• Nous avons utilisé le mécanisme d'attention dans les caractéristiques de basse résolution (16 × 16) comme DDPM à la vanille.
• Nous encodons le $ gamma $ plutôt que $ t $ en Palette et l'intégrer avec une transformation affine.
• Nous fixons la variance $ Σ_ theta (x_t, t) $ à une constante pendant l'inférence comme décrit dans Palette .

Statut

Code

• Pipeline de modèle de diffusion
• Processus de train / test
• Économiser / charger l'état de formation
• Bûcheron / tensorboard
• Formation GPU multiple (DDP)
• Ema
• Métriques (maintenant pour FID, IS)
• Ensemble de données (maintenant pour la peinture, la décharge, la colorisation)
• Script Google Colab? (Maintenant pour la déainte)

Tâche

J'essaie de terminer les tâches suivantes dans l'ordre:

• Insération sur Celebahq (Google Colab)
• Insération sur les lieux2 avec un masque de centrage 128 × 128

L'expérience de suivi est incertaine, en raison du manque de temps et de ressources GPU:

• Décoller sur les endroits2
• Colorisation sur l'imaget

Résultats

Le modèle DDPM nécessite des ressources informatiques importantes, et nous n'avons créé que quelques exemples de modèles pour valider les idées de cet article.

Visuels

Céleba-hq

Résultats avec 200 époques et 930K itérations, et les 100 premiers échantillons dans le masque de centrage et le masque irrégulier.

Lieux2 avec un masque de centrage 128 × 128

Résultats avec 16 époques et 660K itérations, et les plusieurs échantillons choisis dans le masque de centrage.

Décoller sur les endroits2

Résultats avec 8 époques et 330K itérations, et les plusieurs échantillons ont choisi de la contre-culpulation.

Métrique

Tâches	Ensemble de données	Ema	Fid (-)	Est (+)
Insistance avec un masque de centrage	Céleba-hq	FAUX	5.7873	3.0705
Intaini avec un masque irrégulier	Céleba-hq	FAUX	5.4026	3.1221

Usage

Environnement

 pip install - r requirements . txt

Modèle pré-formé

Ensemble de données	Tâche	Itérations	GPUS × Jours × BS	URL
Céleba-hq	Déaini	930K	2 × 5 × 3	Google Drive
Lieux2	Déaini	660k	4 × 8 × 10	Google Drive

BS indique la taille de l'échantillon par GPU.

Préparer les données

Nous obtenons la plupart d'entre eux de Kaggle, qui peuvent être légèrement différents de la version officielle, et vous pouvez également les télécharger à partir du site officiel.

• Celeba-hq redimensionnel (256x256) Kaggle
• Lieux2 officiel | Places 2 kaggle
• Imagenet Officiel

Nous utilisons la division par défaut de ces ensembles de données pour la formation et l'évaluation. Les listes de fichiers que nous utilisons peuvent être trouvées dans Celeba-HQ, places2.

Après avoir préparé ses propres données, vous devez modifier le fichier de configuration correspondant pour pointer de vos données. Prenez ce qui suit comme exemple:

 " which_dataset " : {  // import designated dataset using arguments 
    " name " : ["data.dataset", "InpaintDataset"], // import Dataset() class
    " args " :{ // arguments to initialize dataset
    	" data_root " : " your data path " ,
    	" data_len " : -1,
    	" mask_mode " : " hybrid "
    } 
},

Plus de choix concernant DatalOader et la scission de validation peuvent également être trouvés dans datasets d'une partie du fichier de configuration.

Formation / formation de curriculum vitae

1. Téléchargez les points de contrôle à partir des liens donnés.
2. Définissez resume_state du fichier de configuration dans le répertoire du point de contrôle précédent. Prenez ce qui suit comme exemple, ce répertoire contient des états de formation et un modèle enregistré:

 " path " : { //set every part file path
	" resume_state " : "experiments/inpainting_celebahq_220426_150122/checkpoint/100" 
},

2. Définissez votre étiquette réseau dans la fonction load_everything de model.py , la valeur par défaut est le réseau . Suivez les paramètres du didacticiel, les optimisateurs et les modèles seront chargés à partir de 100.State et 100_Network.Pth respectivement.

 netG_label = self . netG . __class__ . __name__
self . load_network ( network = self . netG , network_label = netG_label , strict = False )

3. Exécutez le script:

 python run . py - p train - c config / inpainting_celebahq . json

Nous testons le squelette U-Net utilisé dans SR3 et Guided Diffusion , et Guided Diffusion on a des performances plus robustes dans nos expériences actuelles. Plus de choix concernant la colonne vertébrale , la perte et la métrique peuvent être trouvés dans which_networks la partie_networks de la configuration du fichier.

Test

1. Modifiez le fichier de configuration pour pointer vers vos données suivant les étapes de la pièce de préparation des données .
2. Définissez votre chemin de modèle en suivant les étapes de la partie de formation du curriculum vitae .
3. Exécutez le script:

 python run . py - p test - c config / inpainting_celebahq . json

Évaluation

1. Créez deux dossiers enregistrant des images de vérité au sol et exemple d'images, et leurs noms de fichiers doivent correspondre les uns aux autres.

2. Exécutez le script:

 python eval . py - s [ ground image path ] - d [ sample image path ]

Reconnaître

Notre travail est basé sur les travaux théoriques suivants:

• Modèles probabilistes de diffusion de débrassement
• Palette: modèles de diffusion d'image à l'image
• Les modèles de diffusion battent des gans sur la synthèse d'image

Et nous bénéficions beaucoup des projets suivants:

• Openai / Diffusion guidée
• Louisrouss / diffusion basé sur le modèle pour la colorisation