UniDiffusionのダウンロードUniDiffusionソースコードのダウンロード

UniDiffusion

AI ソースコード

1.0.0

ダウンロード

拡散

拡散モデルの宇宙をuni fiedワークフローでナビゲートします。

導入

ワークフロー

Unidiffusionは、ディフューザーに基づいて、最先端のトレーニングおよび推論アルゴリズムを提供するツールボックスです。 Unidiffusionは、安定した拡散のトレーニングを深くカスタマイズしたい研究者とユーザーを対象としています。このコードリポジトリが将来の研究とアプリケーションの拡張を優れたサポートを提供できることを願っています。

また、次のことを実装したい場合は、undiffusionを楽しんでください

トレーニングのみcross attention （またはconvolution / feedforward / ...）レイヤー。
異なるレイヤーに対して、異なるlr / weight decayを設定します。
さまざまな層にPEFT/PETLメソッドを使用またはサポートし、それらを簡単に統合します。
UNET、VAE、TEXT_ENCODERを含む安定した拡散ですべてのパラメーターをトレーニングし、自動的に保存およびロードします。

注：拡散はまだ開発中です。一部のモジュールは、他のコードリポジトリから借用されており、特に設定システムでデフォルトで有効にされていないコンポーネント、特にテストされていません。私たちはこのプロジェクトを改善するために一生懸命働いています。

特徴

モジュラー設計。 Unidiffusionは、モジュラーアーキテクチャで設計されています。モジュラー設計により、新しい方法を簡単に実装できます。
構成システム。より柔軟な構文とクリーナーの構成ファイルのためのLazyconfigシステム。
使いやすい。
- 分散トレーニング：Accelerateを使用して、すべての分散トレーニング環境をサポートします。
- 実験トラッカー：WANDBを使用して、すべてのトレーニング情報を記録します。
- 分散評価：トレーニング中の✅FID、✅、クリップスコアを評価する

統一されたトレーニングワークフロー

拡散では、すべてのトレーニング方法が3次元に分解されます

学習可能なパラメーター：どのレイヤーまたはどのモジュールが更新されるか。
PEFT/PETLメソッド：それらを更新する方法。たとえば、Finetune、Low-Rank適応、アダプターなど。
トレーニングプロセス：デフォルトでは、XTIのように拡張できます。

これにより、強力な構成システムを備えた統一されたトレーニングパイプラインを実施できます。

他のコードベースからのトレーニングワークフローの違いの例。

これが簡単な例です。ディフューザーでは、 text-to-image finetuneとdreamboothのようなもの：

python train_dreambooth.py --arg ......
python train_finetune.py --arg ......

また、いくつかの方法を組み合わせたり調整したりすることは困難です（たとえば、DreamBoothの間に注意を払うだけのトレーニングのみ）。

Undiffusionでは、設定ファイルで独自のトレーニング引数を簡単に設計できます。

 # text-to-image finetune
unet . training_args = { '' : { 'mode' : 'finetune' }}
# text-to-image finetune with lora
unet . training_args = { '' : { 'mode' : 'lora' }}
# update cross attention with lora
unet . training_args = { 'attn2' : { 'mode' : 'lora' }}

# dreambooth
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True }}
# dreambooth with small lr for text-encoder
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True , 'optim_kwargs' : { 'lr' : 1e-6 }}}

そして、実行します

accelerate launch scripts/train.py --config-file /path/to/your/config

これにより、メソッドの容易なカスタマイズ、組み合わせ、および強化が容易になり、構成ファイルを介したメソッド間の類似性と相違点の比較も可能になります。

モジュールの選択のための定期的なマッチング

Undiffusionでは、モジュールを選択するための通常のマッチングシステムを提供します。これにより、定期的なマッチングによってモジュールを選択できます。詳細については、モジュールの選択については、通常のマッチングを参照してください。

PEFT/PETLメソッドの強力なサポート

PEFT/PETLメソッドの強力なサポートを提供します。詳細については、PEFT/PETLメソッドを参照してください。

？インストール

前提条件をインストールします

Python 3.10
pytorch 2.0 + cuda11.8
cudnn

要件をインストールします

pip install -e requirements.txt

AccelerateとWandBの構成

accelerate config
wandb login

？はじめる

詳細については、Train Textual Textual Inversion / Dreambooth / Lora / Text-to-Image Finetuneを参照してください。

accelerate launch scrits/common.py --config-file configs/train/text_to_image_finetune.py

詳細なデモ

テキストの反転 / dreambooth / lora / text-to-image Finetuneを訓練します。
トレーニングプロセスをカスタマイズします。

[実行]チュートリアル

[TODO]新しいデータセットをサポートしています。
[TODO]新しいPETLメソッドのサポート。
[TODO]新しいトレーニングパイプラインをサポートしています。

？モデル動物園

サポートされているパーソナライズ方法

注：パーソナライズ方法は、トレーニング可能なパラメーター、PEFT/PETLメソッド、および拡散のトレーニングプロセスで分解されます。詳細については、構成ファイルを参照してください。

サポートされているPEFT/PETLメソッド

微調整
ロラ
repadapter

トト

将来、次の機能を追加します。また、コミュニティからの貢献も歓迎します。お気軽にリクエストを引き出したり、問題を開いて、新機能のアイデアを議論してください。

方法：
- クラスのセマンティックプライアーズの保存（DreamBooth）。
- XTIおよびカスタム拡散。
- RepadapterとLycoris。
特徴：
- PEFTを元のモデルにマージします。
- モデルをディフューザーとWebUI形式に変換します。
- WebUI拡張機能。

貢献

オープンソースコミュニティからの貢献を歓迎します！

認める

拡散トレーナーは、ディフューザーに基づいて構築されています。
多くのモジュール設計は、Detectron2とDetrexから借用されています。
メソッドのいくつかの実装は、ディフューザーとLycorisから借用されています。

引用

このツールボックスを調査で使用する場合、またはここで公開されているベースラインの結果を参照する場合は、次のBibtexエントリを使用してください。

除外を引用：

 @misc { pu2022diffusion ,
  author =       { Pu Cao, Tianrui Huang, Lu Yang, Qing Song } ,
  title =        { UniDiffusion } ,
  howpublished = { url{https://github.com/PRIV-Creation/UniDiffusion} } ,
  year =         { 2023 }
}