UniDiffusion

Unidiffusion

Naviguez dans le verset uni des modèles de diffusion avec un flux de travail uni .

Introduction

Unidiffusion est une boîte à outils qui fournit des algorithmes de formation et d'inférence de pointe, basés sur des diffuseurs. Unidiffusion s'adresse aux chercheurs et aux utilisateurs qui souhaitent personnaliser profondément la formation de la diffusion stable. Nous espérons que ce référentiel de code pourra fournir un excellent support pour les recherches futures et les extensions d'application.

Si vous souhaitez également implémenter les choses suivantes, amusez-vous avec Unidiffusion

• Entraîner uniquement la couche cross attention (ou convolution / feedforward / ...).
• Réglez différentes lr / weight decay / ... pour différentes couches.
• L'utilisation ou la prise en charge des méthodes PEFT / PETL pour différentes couches et les fusionnant facilement, par exemple, Finetune la couche de convolution et mettez à jour la couche d'attention avec LORA.
• Former tous les paramètres en diffusion stable, y compris UNET, VAE, Text_Encoder, et enregistrer et charger automatiquement.

Remarque: Unidiffusion est toujours en cours de développement. Certains modules sont empruntés à d'autres référentiels de code et n'ont pas encore été testés, en particulier les composants qui ne sont pas activés par défaut dans le système de configuration. Nous travaillons dur pour améliorer ce projet.

Caractéristiques

• Conception modulaire . Unidiffusion est conçue avec une architecture modulaire. La conception modulaire permet une implémentation facile de nouvelles méthodes.
• Système de configuration . Système lazyconfig pour une syntaxe plus flexible et des fichiers de configuration plus propres.
• Facile à utiliser .
  • Formation distribuée : Utilisation d'accélération pour soutenir tout l'environnement de formation distribué.
  • Expérience Tracker : Utilisation de WANDB pour enregistrer toutes les informations de formation.
  • Évaluation distribuée : évaluer ✅fid, ✅is, clip score pendant la formation

Flux de travail de formation unifiée

En unidiffusion, toutes les méthodes de formation sont décomposées en trois dimensions

• Paramètres apprenables : quelle couche ou quel module sera mis à jour.
• Méthode PEFT / PETL : comment les mettre à jour. Par exemple, finetune, adaption de faible rang, adaptateur, etc.
• Processus de formation : par défaut en diffuon-déni, qui peut être étendu comme xti.

Il permet de mener un pipeline de formation unifié avec un système de configuration solide.

Exemple de différence dans le flux de travail de formation des autres bases de code.

Voici un exemple simple. Dans les diffuseurs, entraîner text-to-image finetune et dreambooth comme:

python train_dreambooth.py --arg ......
python train_finetune.py --arg ......

et la combinaison ou l'ajustement de certaines méthodes est difficile (par exemple, l'attention de l'entraînement pendant Dreambooth).

Dans Unidiffusion, nous pouvons facilement concevoir nos propres arguments de formation dans le fichier de configuration:

 # text-to-image finetune
unet . training_args = { '' : { 'mode' : 'finetune' }}
# text-to-image finetune with lora
unet . training_args = { '' : { 'mode' : 'lora' }}
# update cross attention with lora
unet . training_args = { 'attn2' : { 'mode' : 'lora' }}

# dreambooth
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True }}
# dreambooth with small lr for text-encoder
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True , 'optim_kwargs' : { 'lr' : 1e-6 }}}

puis courir

accelerate launch scripts/train.py --config-file /path/to/your/config

Cela facilite la personnalisation, la combinaison et l'amélioration plus faciles des méthodes, et permet également la comparaison des similitudes et des différences entre les méthodes via des fichiers de configuration.

Correspondance régulière pour la sélection des modules

Dans Unidiffusion, nous fournissons un système de correspondance régulier pour la sélection des modules. Il nous permet de sélectionner des modules par correspondance régulière. Voir l'appariement régulier pour la sélection des modules pour plus de détails.

Support puissant pour les méthodes PEFT / PETL

Nous fournissons un soutien puissant pour les méthodes PEFT / PETL. Voir les méthodes PEFT / PETL pour plus de détails.

? Installation

1. Installer des conditions préalables

• Python 3.10
• Pytorch 2.0 + CUDA11.8
• Bouton

2. Installer les exigences

pip install -e requirements.txt

3. Configuration d'accélérer et Wandb

accelerate config
wandb login

? Commencer

Voir le train inversion textuelle / Dreambooth / Lora / Finetune de texte à image pour plus de détails.

accelerate launch scrits/common.py --config-file configs/train/text_to_image_finetune.py

Démo détaillé

1. Train Inversion textuelle / Dreambooth / Lora / Finetune de texte à image.
2. Personnalisez votre processus de formation.

[Faire] tutoriel

1. [TODO] prenant en charge un nouvel ensemble de données.
2. [TODO] Soutenir la nouvelle méthode PETL.
3. [TODO] soutenant un nouveau pipeline de formation.

? Zoo modèle

Méthodes de personnalisation soutenues

• Finetune de texte à l'image
• dreambooth
• lora
• inversion textuelle
• Xti
• Diffusion personnalisée

Remarque: Les méthodes de personnalisation sont des décomposables dans les paramètres d'entraînement, les méthodes PEFT / PETL et le processus de formation en unidiffusion. Voir le fichier de configuration pour plus de détails.

Méthodes PEFT / PETL prises en charge

• affiner
• lora
• Repadapter

FAIRE

Nous allons ajouter les fonctionnalités suivantes à l'avenir. Nous accueillons également les contributions de la communauté. N'hésitez pas à extraire les demandes ou à ouvrir un problème pour discuter des idées de nouvelles fonctionnalités.

• Méthodes :
  • Préservation des prieurs sémantiques de classe (Dreambooth).
  • XTI & Diffusion personnalisée.
  • REPADAPTER ET LYCORIS.
• Caractéristiques :
  • Fusionner le modèle PEFT vers le modèle d'origine.
  • Convertir le modèle en diffuseurs et format webui.
  • Extension webui.

Contribution

Nous accueillons les contributions de la communauté open source!

Reconnaître

• L'entraîneur de diffusion est construit en fonction des diffuseurs.
• Une grande partie de la conception de modules est empruntée à Detectron2 et Dedrex.
• Certaines implémentations de méthodes sont empruntées aux diffuseurs et à Lycoris.

Citation

Si vous utilisez cette boîte à outils dans votre recherche ou si vous souhaitez vous référer aux résultats de référence publiés ici, veuillez utiliser les entrées Bibtex suivantes:

• Citant Unidiffusion :

 @misc { pu2022diffusion ,
  author =       { Pu Cao, Tianrui Huang, Lu Yang, Qing Song } ,
  title =        { UniDiffusion } ,
  howpublished = { url{https://github.com/PRIV-Creation/UniDiffusion} } ,
  year =         { 2023 }
}

Algorithmes pris en charge de la citation

À venir bientôt