UniDiffusion

Unidifusión

Navegue por el verso de los modelos de difusión con flujo de trabajo Uni Fied.

Introducción

Unidifusion es una caja de herramientas que proporciona algoritmos de capacitación e inferencia de última generación, basados ​​en difusores. Unidifusion está dirigido a investigadores y usuarios que desean personalizar profundamente la capacitación de la difusión estable. Esperamos que este repositorio de código pueda proporcionar un excelente soporte para futuras investigaciones y extensiones de aplicaciones.

Si también desea implementar las siguientes cosas, diviértase con Unidifusion

• Entrena solo cross attention (o convolution / feedforward / ...).
• Establezca diferentes lr / weight decay / ... para diferentes capas.
• Usando o soportando métodos PEFT/PETL para diferentes capas y fusionarlos fácilmente, por ejemplo, Finetune la capa de convolución y actualice la capa de atención con Lora.
• Entrene todo el parámetro en difusión estable, incluidos Unet, VAE, Text_encoder, y guardar y cargar automáticamente.

Nota: Unidifusion todavía está en desarrollo. Algunos módulos se toman prestados de otros repositorios de código y aún no se han probado, especialmente los componentes que no están habilitados de forma predeterminada en el sistema de configuración. Estamos trabajando duro para mejorar este proyecto.

Características

• Diseño modular . Unidifusion está diseñado con una arquitectura modular. El diseño modular permite una fácil implementación de nuevos métodos.
• Sistema de configuración . Sistema LazyConfig para archivos de configuración de sintaxis y limpiador más flexibles.
• Fácil de usar .
  • Capacitación distribuida : el uso de acelerar para apoyar todo el entorno de capacitación distribuido.
  • Tracker de experimentos : Uso de WandB para registrar toda la información de entrenamiento.
  • Evaluación distribuida : evaluar ✅fid, ✅is, puntaje de clip durante el entrenamiento

Flujo de trabajo de capacitación unificada

En unidifusión, todos los métodos de entrenamiento se descomponen en tres dimensiones

• Parámetros aprendibles : qué capa o qué módulo se actualizará.
• Método PEFT/PETL : cómo actualizarlos. Por ejemplo, Finetune, adaptación de bajo rango, adaptador, etc.
• Proceso de capacitación : predeterminado a Diffuion-DenOising, que puede extenderse como XTI.

Le permite llevar a cabo una tubería de entrenamiento unificada con un sistema de configuración fuerte.

Ejemplo de diferencia en el flujo de trabajo de capacitación de otras bases de código.

Aquí hay un ejemplo simple. En difusores, entrenamiento text-to-image finetune y dreambooth como:

python train_dreambooth.py --arg ......
python train_finetune.py --arg ......

y combinar o ajustar algunos de los métodos son difíciles (por ejemplo, solo el entrenamiento cruzó la atención durante Dreambooth).

En Unidifusion, podemos diseñar fácilmente nuestros propios argumentos de capacitación en el archivo de configuración:

 # text-to-image finetune
unet . training_args = { '' : { 'mode' : 'finetune' }}
# text-to-image finetune with lora
unet . training_args = { '' : { 'mode' : 'lora' }}
# update cross attention with lora
unet . training_args = { 'attn2' : { 'mode' : 'lora' }}

# dreambooth
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True }}
# dreambooth with small lr for text-encoder
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True , 'optim_kwargs' : { 'lr' : 1e-6 }}}

y luego corre

accelerate launch scripts/train.py --config-file /path/to/your/config

Esto facilita la personalización, la combinación y la mejora más fácil de los métodos, y también permite la comparación de similitudes y diferencias entre los métodos a través de archivos de configuración.

Coincidencia regular para la selección de módulos

En Unidifusion, proporcionamos un sistema de coincidencia regular para la selección de módulos. Nos permite seleccionar módulos mediante una coincidencia regular. Vea la coincidencia regular para la selección del módulo para más detalles.

Potente soporte para los métodos PEFT/PETL

Brindamos un poderoso apoyo para los métodos PEFT/PETL. Consulte los métodos PEFT/PETL para obtener más detalles.

? Instalación

1. Instalar requisitos previos

• Python 3.10
• Pytorch 2.0 + CUDA11.8
• Cudnn

2. Requisitos de instalación

pip install -e requirements.txt

3. Configuración de acelerar y wandb

accelerate config
wandb login

? Empezando

Consulte la inversión textual del tren / Dreambooth / Lora / Text-to-Image Finetune para más detalles.

accelerate launch scrits/common.py --config-file configs/train/text_to_image_finetune.py

Demostración detallada

1. Inversión textual del tren / Dreambooth / Lora / Text-to-Image Finetune.
2. Personaliza tu proceso de capacitación.

[Haciendo] tutorial

1. [TODO] Admitiendo un nuevo conjunto de datos.
2. [TODO] Apoyo al nuevo método PETL.
3. [TODO] Apoyo a la nueva tubería de capacitación.

? Zoológico modelo

Métodos de personalización apoyados

• finetune de texto a imagen
• Dreambooth
• lora
• inversión textual
• Xti
• Difusión personalizada

Nota: Los métodos de personalización se descomponen en parámetros capacitables, métodos PEFT/PETL y proceso de capacitación en unidifusión. Consulte el archivo de configuración para obtener más detalles.

Métodos PEFT/PETL compatibles

• afinar
• lora
• Repadicera

HACER

Vamos a agregar las siguientes funciones en el futuro. También damos la bienvenida a las contribuciones de la comunidad. Siéntase libre de extraer solicitudes o abrir un tema para discutir ideas para nuevas características.

• Métodos :
  • Preservación de Priors semánticos de clase (Dreambooth).
  • XTI y difusión personalizada.
  • Repadapter y Lycoris.
• Características :
  • Fusionar Peft al modelo original.
  • Convierta el modelo a difusores y formato WebUI.
  • Extensión de Webui.

Contribución

¡Agradecemos las contribuciones de la comunidad de código abierto!

Reconocer

• El entrenador de difusión se construye en base a difusores.
• Se toma prestado un montón de diseño de módulos de Detectron2 y Detrex.
• Algunas implementaciones de métodos se toman prestadas de difusores y lycoris.

Citación

Si usa esta caja de herramientas en su investigación o desea consultar los resultados de línea de base publicados aquí, utilice las siguientes entradas de Bibtex:

• Citando unidifusion :

 @misc { pu2022diffusion ,
  author =       { Pu Cao, Tianrui Huang, Lu Yang, Qing Song } ,
  title =        { UniDiffusion } ,
  howpublished = { url{https://github.com/PRIV-Creation/UniDiffusion} } ,
  year =         { 2023 }
}

Algoritmos compatibles con citas

Llegando pronto