UniDiffusion下載 - UniDiffusion源代碼下載

UniDiffusion

Ai源碼

1.0.0

下載

聯合

使用Uni Fied Workflow導航擴散模型的Uni詩歌。

介紹

工作流程

Unidiffusion是一個工具箱，可根據擴散器提供最新的培訓和推理算法。 Unidiffusion針對希望深入自定義穩定擴散培訓的研究人員和用戶。我們希望該代碼存儲庫可以為未來的研究和應用擴展提供出色的支持。

如果您還想實施以下內容，請與Unidiffusion一起玩樂

火車僅cross attention （或convolution / feedforward / ...）層。
為不同的層設置不同的lr / weight decay / ...。
將或支持PEFT/PETL方法用於不同的層，並輕鬆合併它們，例如，將捲積層和使用Lora更新註意力層。
將所有參數訓練在穩定擴散中，包括UNET，VAE，TEXT_ENCODER，並自動保存和加載。

注意：一致開發仍在開發中。某些模塊是從其他代碼存儲庫中藉來的，尚未進行測試，尤其是默認情況下，在配置系統中未啟用的組件。我們正在努力改善該項目。

特徵

模塊化設計。 Unidiffusion採用模塊化架構設計。模塊化設計可以輕鬆實現新方法。
配置系統。 LazyConfig系統，用於更靈活的語法和清潔程序配置文件。
便於使用。
- 分佈式培訓：使用加速來支持所有分佈式培訓環境。
- 實驗跟踪器：使用WANDB記錄所有培訓信息。
- 分佈式評估：訓練期間評估✅FID，✅IS，剪輯得分

統一培訓工作流程

在一致中，所有訓練方法都分解為三個維度

可學習的參數：將更新哪個層或哪個模塊。
PEFT/PETL方法：如何更新它們。例如，芬日，低級適配，適配器等。
培訓過程：默認為擴散 - 降解，可以像XTI一樣擴展。

它允許我們使用強大的配置系統進行統一的培訓管道。

培訓工作流程差異的示例。

這是一個簡單的示例。在擴散器中，培訓text-to-image finetune和dreambooth喜歡：

python train_dreambooth.py --arg ......
python train_finetune.py --arg ......

並且結合或調整某些方法很困難（例如，只有在Dreambooth期間訓練交叉注意）。

在Unidiffusion中，我們可以輕鬆地在配置文件中設計自己的培訓參數：

 # text-to-image finetune
unet . training_args = { '' : { 'mode' : 'finetune' }}
# text-to-image finetune with lora
unet . training_args = { '' : { 'mode' : 'lora' }}
# update cross attention with lora
unet . training_args = { 'attn2' : { 'mode' : 'lora' }}

# dreambooth
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True }}
# dreambooth with small lr for text-encoder
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True , 'optim_kwargs' : { 'lr' : 1e-6 }}}

然後運行

accelerate launch scripts/train.py --config-file /path/to/your/config

這有助於更輕鬆的定制，組合和增強方法，還可以通過配置文件比較方法之間的相似性和差異。

定期匹配模塊選擇

在Unidiffusion中，我們為模塊選擇提供了常規的匹配系統。它允許我們通過常規匹配選擇模塊。有關更多詳細信息，請參見定期匹配以獲取模塊選擇。

對PEFT/PETL方法的強大支持

我們為PEFT/PETL方法提供了強有力的支持。有關更多詳細信息，請參見PEFT/PETL方法。

？安裝

安裝先決條件

Python 3.10
Pytorch 2.0 + CUDA11.8
庫丁

安裝要求

pip install -e requirements.txt

配置加速度和WANDB

accelerate config
wandb login

？入門

有關詳細信息，請參見火車文字反轉 / Dreambooth / lora /文本對圖像的芬日。

accelerate launch scrits/common.py --config-file configs/train/text_to_image_finetune.py

詳細的演示

火車文字反轉 / Dreambooth / Lora /文本到圖像的芬日。
自定義您的培訓過程。

[做]教程

[TODO]支持新數據集。
[TODO]支持新的PETL方法。
[TODO]支持新的培訓管道。

？模型動物園

支持的個性化方法

注意：個性化方法是在可訓練的參數，PEFT/PETL方法和培訓過程中分解的。有關更多詳細信息，請參見配置文件。

支持的PEFT/PETL方法

Finetune
洛拉
還原器

托多

將來我們將添加以下功能。我們也歡迎社區的貢獻。隨意提取請求或打開問題以討論新功能的想法。

方法：
- 保存課堂語義先驗（Dreambooth）。
- XTI和自定義擴散。
- 還原和利科里斯。
特徵：
- 將PEFT合併到原始型號。
- 將模型轉換為擴散器和WebUI格式。
- WebUI擴展。

貢獻

我們歡迎開源社區的捐款！

承認

擴散教練是基於擴散器建造的。
從detectron2和detrex借用了許多模塊設計。
方法的某些實現是從擴散器和利科里斯借來的。

引用

如果您在研究中使用此工具箱或希望參考此處發布的基線結果，請使用以下Bibtex條目：

引用一體式：

 @misc { pu2022diffusion ,
  author =       { Pu Cao, Tianrui Huang, Lu Yang, Qing Song } ,
  title =        { UniDiffusion } ,
  howpublished = { url{https://github.com/PRIV-Creation/UniDiffusion} } ,
  year =         { 2023 }
}