Palette Image to Image Diffusion Models

Paleta: modelos de difusión de imagen a imagen

Papel | Proyecto

Breve

Esta es una implementación no oficial de la paleta: modelos de difusión de imagen a imagen por Pytorch , y se hereda principalmente de su versión de super resolución, resistente-resistencia-resolución-iteratoria-iterativa-refinamiento. La plantilla de código es de mi proyecto de otra semilla: Template de Pytorch distribuido.

Hay algunos detalles de implementación con descripciones en papel:

• Adaptamos la arquitectura de red U utilizada en Guided-Diffusion , que proporciona un impulso sustancial a la calidad de la muestra.
• Utilizamos el mecanismo de atención en características de baja resolución (16 × 16) como Vanilla DDPM .
• Codificamos el $ gamma $ en vez de $ t $ en Palette e incrustarlo con transformación afina.
• Arreglamos la varianza $ Σ_ theta (x_t, t) $ a una constante durante la inferencia como se describe en Palette .

Estado

Código

• Tubería del modelo de difusión
• Proceso de tren/prueba
• Estado de capacitación para guardar/cargar
• Logger/tensorboard
• Múltiples entrenamiento de GPU (DDP)
• EMA
• Métricas (ahora para fid, es)
• Conjunto de datos (ahora para ingeniería, descremada, colorización)
• ¿Script de Google Colab? (Ahora para la invención)

Tarea

Intento terminar las siguientes tareas en orden:

• Inpenación en CelebAHQ (Google Colab)
• Incremisión en lugares2 con 128 × 128 máscara de centrado

El experimento de seguimiento es incierto, debido a la falta de tiempo y los recursos de GPU:

• Descanso en lugares2
• Colorización en el set de Imagenet Val

Resultados

El modelo DDPM requiere recursos computacionales significativos, y solo hemos creado algunos modelos de ejemplo para validar las ideas en este documento.

Visuales

Celeba-HQ

Resultados con 200 épocas y 930K iteraciones, y las primeras 100 muestras en máscara centrada y máscara irregular.

Lugares2 con 128 × 128 máscara centrada

Resultados con 16 épocas y 660K iteraciones, y las varias muestras seleccionadas en la máscara centrada.

Descanso en lugares2

Resultados con 8 épocas y 330K iteraciones, y las diversas muestras seleccionadas en descremado.

Métrica

Tareas	Conjunto de datos	EMA	DEFENSOR(-)	Es (+)
Incremisión con máscara de centrado	Celeba-HQ	FALSO	5.7873	3.0705
Enterina con máscara irregular	Celeba-HQ	FALSO	5.4026	3.1221

Uso

Ambiente

 pip install - r requirements . txt

Modelo previamente capacitado

Conjunto de datos	Tarea	Iteración	GPU × Days × BS	Url
Celeba-HQ	Entretenimiento	930k	2 × 5 × 3	Google Drive
Lugares2	Entretenimiento	660k	4 × 8 × 10	Google Drive

BS indica el tamaño de la muestra por GPU.

Los datos se preparan

Obtenemos la mayoría de ellos de Kaggle, que puede ser ligeramente diferente de la versión oficial, y también puede descargarlos desde el sitio web oficial.

• Celeba-HQ redimensional (256x256) Kaggle
• Lugares2 Oficial | Lugares2 kaggle
• Oficial de Imagenet

Utilizamos la división predeterminada de estos conjuntos de datos para capacitación y evaluación. Las listas de archivos que utilizamos se pueden encontrar en Celeba-HQ, lugares2.

Después de preparar datos propios, debe modificar el archivo de configuración correspondiente para señalar sus datos. Tome lo siguiente como ejemplo:

 " which_dataset " : {  // import designated dataset using arguments 
    " name " : ["data.dataset", "InpaintDataset"], // import Dataset() class
    " args " :{ // arguments to initialize dataset
    	" data_root " : " your data path " ,
    	" data_len " : -1,
    	" mask_mode " : " hybrid "
    } 
},

También se pueden encontrar más opciones sobre DataLoader y la división de validación en datasets parte del archivo Configurar.

Capacitación/capacitación de currículum

1. Descargue los puntos de control de los enlaces dados.
2. Establezca resume_state de Configurar archivo en el directorio del punto de control anterior. Tome lo siguiente como ejemplo, este directorio contiene estados de capacitación y modelo guardado:

 " path " : { //set every part file path
	" resume_state " : "experiments/inpainting_celebahq_220426_150122/checkpoint/100" 
},

2. Establezca su etiqueta de red en la función load_everything de model.py , el valor predeterminado es red . Siga la configuración del tutorial, los optimizadores y modelos se cargarán desde 100.state y 100_network.pth respectivamente.

 netG_label = self . netG . __class__ . __name__
self . load_network ( network = self . netG , network_label = netG_label , strict = False )

3. Ejecute el guión:

 python run . py - p train - c config / inpainting_celebahq . json

Probamos la columna vertebral de Net utilizada en SR3 y Guided Diffusion , y Guided Diffusion tiene un rendimiento más robusto en nuestros experimentos actuales. Se pueden encontrar más opciones sobre la red troncal , la pérdida y la métrica en la que la parte de configuración which_networks del archivo.

Prueba

1. Modifique el archivo Configurar para señalar sus datos siguiendo los pasos de datos de preparación de datos .
2. Establezca su ruta de modelo siguiendo los pasos en la parte de entrenamiento de currículums .
3. Ejecute el guión:

 python run . py - p test - c config / inpainting_celebahq . json

Evaluación

1. Cree dos carpetas Guardar imágenes de verdad de tierra e imágenes de muestra, y sus nombres de archivos deben corresponder entre sí.

2. Ejecute el guión:

 python eval . py - s [ ground image path ] - d [ sample image path ]

Reconocer

Nuestro trabajo se basa en los siguientes trabajos teóricos:

• Modelos probabilísticos de difusión de renovación
• Paleta: modelos de difusión de imagen a imagen
• Los modelos de difusión superan a Gans en la síntesis de imágenes

Y estamos beneficiando mucho de los siguientes proyectos:

• OpenAI/Difusión guiada
• Louisrouss/Modelo por color a base de difusión