UniDiffusion

Unidiffusion

Navigieren Sie durch den Uni -Vers der Diffusionsmodelle mit einem uni -Fied -Workflow.

Einführung

Unidiffusion ist eine Toolbox, die hochmoderne Trainings- und Inferenzalgorithmen bietet, die auf Diffusoren basieren. Unidiffusion richtet sich an Forscher und Benutzer, die das Training der stabilen Verbreitung tief anpassen möchten. Wir hoffen, dass dieses Code -Repository eine hervorragende Unterstützung für zukünftige Forschungs- und Anwendungserweiterungen bietet.

Wenn Sie auch die folgenden Dinge implementieren möchten, haben Sie Spaß mit Unidiffusion

• Zug nur cross attention (oder convolution / feedforward / ...).
• Setzen Sie verschiedene lr / weight decay / ... für verschiedene Schichten.
• Verwenden oder Unterstützung von PEFT/PETL -Methoden für verschiedene Ebenen und leicht zu verschmelzen, z. B. die Faltung der Faltungsschicht und die Aufmerksamkeitsschicht mit LORA aktualisieren.
• Trainieren Sie den gesamten Parameter in stabiler Diffusion, einschließlich UNET, VAE, text_encoder, und speichern und laden automatisch.

Hinweis: Unidiffusion befindet sich noch in der Entwicklung. Einige Module werden von anderen Code -Repositories ausgeliehen und wurden noch nicht getestet, insbesondere die Komponenten, die im Konfigurationssystem nicht standardmäßig aktiviert sind. Wir arbeiten hart daran, dieses Projekt zu verbessern.

Merkmale

• Modulares Design . Unidiffusion ist mit einer modularen Architektur ausgelegt. Das modulare Design ermöglicht eine einfache Implementierung neuer Methoden.
• Konfigurationssystem . LazyConfig -System für flexiblere Syntax- und sauberere Konfigurationsdateien.
• Einfach zu bedienen .
  • Verteilte Schulung : Verwenden Sie Beschleunigung, um alle verteilten Schulungsumgebungen zu unterstützen.
  • Experiment Tracker : Verwenden Sie WANDB, um alle Trainingsinformationen zu protokollieren.
  • Verteilte Bewertung : Bewerten Sie ✅FID, ✅is, Clip -Score während des Trainings

Einheitlicher Schulungsworkflow

In Unidiffusion werden alle Trainingsmethoden in drei Dimensionen zerlegt

• Lernbare Parameter : Welche Ebene oder welches Modul wird aktualisiert.
• PEFT/PETL -Methode : So aktualisieren Sie sie. Z. B. Finetune, niedrigem Adaption, Adapter usw.
• Schulungsprozess : Standard für Diffuion-Denoising, die wie XTI erweitert werden können.

Es ermöglicht uns, eine einheitliche Trainingspipeline mit einem starken Konfigurationssystem durchzuführen.

Beispiel für den Unterschied in der Schulungs -Workflow aus anderen Codebasen.

Hier ist ein einfaches Beispiel. In Diffusoren Training text-to-image finetune und dreambooth wie:

python train_dreambooth.py --arg ......
python train_finetune.py --arg ......

und die Kombination oder Anpassung einiger der Methoden sind schwierig (z. B. nur die Aufmerksamkeit der Kreuzung während des Dreambooth).

In Unidiffusion können wir unsere eigenen Trainingsargumente in der Konfigurationsdatei problemlos entwerfen:

 # text-to-image finetune
unet . training_args = { '' : { 'mode' : 'finetune' }}
# text-to-image finetune with lora
unet . training_args = { '' : { 'mode' : 'lora' }}
# update cross attention with lora
unet . training_args = { 'attn2' : { 'mode' : 'lora' }}

# dreambooth
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True }}
# dreambooth with small lr for text-encoder
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True , 'optim_kwargs' : { 'lr' : 1e-6 }}}

und dann rennen

accelerate launch scripts/train.py --config-file /path/to/your/config

Dies erleichtert die Anpassung, Kombination und Verbesserung von Methoden und ermöglicht auch den Vergleich von Ähnlichkeiten und Unterschieden zwischen den Methoden durch Konfigurationsdateien.

Regelmäßige Übereinstimmung für die Modulauswahl

In Unidiffusion bieten wir ein regelmäßiges Matching -System für die Modulauswahl. Es ermöglicht uns, Module durch reguläre Übereinstimmung auszuwählen. Weitere Informationen finden Sie unter regelmäßiger Übereinstimmung für die Modulauswahl.

Leistungsstarke Unterstützung für PEFT/PETL -Methoden

Wir bieten eine leistungsstarke Unterstützung für PEFT/PETL -Methoden. Weitere Informationen finden Sie unter PEFT/PETL -Methoden.

? Installation

1. Voraussetzungen installieren

• Python 3.10
• Pytorch 2.0 + CUDA11.8
• Cudnn

2. Anforderungen installieren

pip install -e requirements.txt

3. Konfigurieren von Beschleunigung und Wandb

accelerate config
wandb login

? Erste Schritte

Weitere Informationen finden Sie unter dem Zug Textinversion / Dreambooth / Lora / Text-to-Image-Finetune.

accelerate launch scrits/common.py --config-file configs/train/text_to_image_finetune.py

Detaillierte Demo

1. Training Textinversion / Dreambooth / Lora / Text-to-Image-Finetune.
2. Passen Sie Ihren Trainingsprozess an.

[Tutorial tun] Tutorial

1. [Todo] Unterstützung neuer Datensatz.
2. [Todo] Unterstützung neuer PETL -Methoden.
3. [TODO] Unterstützung neuer Trainingspipeline.

? Modellzoo

Unterstützte Personalisierungsmethoden

• Text-to-Image-Finetune
• Dreambooth
• Lora
• Textinversion
• XTI
• Benutzerdefinierte Diffusion

HINWEIS: Personalisierungsmethoden sind zersetzt in trainierbaren Parametern, PEFT/PETL -Methoden und Schulungsprozess in Unidiffusion. Weitere Informationen finden Sie unter Konfigurationsdatei.

Unterstützte PEFT/PETL -Methoden

• Finetune
• Lora
• Repadapter

Todo

Wir werden in Zukunft die folgenden Funktionen hinzufügen. Wir begrüßen auch Beiträge der Community. Fühlen Sie sich frei, Anfragen zu ziehen oder ein Problem zu öffnen, um Ideen für neue Funktionen zu besprechen.

• Methoden :
  • Erhaltung von klassensemantischen Priors (Dreambooth).
  • XTI & benutzerdefinierte Diffusion.
  • Repadapter und Lycoris.
• Merkmale :
  • Fusion Peft zum Originalmodell.
  • Konvertieren Sie das Modell in Diffusoren und Webui -Format.
  • Webui -Erweiterung.

Beitrag

Wir begrüßen Beiträge der Open-Source-Community!

Anerkennen

• Der Diffusionstrainer basiert auf Diffusoren.
• Ein Großteil des Moduldesigns wird von DETECRON2 und DETREX entlehnt.
• Einige Implementierungen von Methoden werden von Diffusoren und Lycoris entlehnt.

Zitat

Wenn Sie diese Toolbox in Ihrer Forschung verwenden oder sich auf die hier veröffentlichten Basisergebnisse beziehen möchten, verwenden Sie bitte die folgenden Bibtex -Einträge:

• Unter Berufung auf Unidiffusion :

 @misc { pu2022diffusion ,
  author =       { Pu Cao, Tianrui Huang, Lu Yang, Qing Song } ,
  title =        { UniDiffusion } ,
  howpublished = { url{https://github.com/PRIV-Creation/UniDiffusion} } ,
  year =         { 2023 }
}

Zitat unterstützte Algorithmen

Bald komme