ホーム>プログラミング関連>パイソン
ダウンロード

パレット：画像間拡散モデル

論文|プロジェクト

簡単な

これは、 Pytorchによる画像間拡散モデルのパレットの非公式の実装であり、主にその超解像度バージョンの画像スーパー解像度-Via-oterative-Repitingから継承されています。コードテンプレートは、私の別のシードプロジェクトである分散-Pytorch-Templateのものです。

紙の説明には、いくつかの実装の詳細があります。

  • Guided-Diffusionに使用されるU-Netアーキテクチャを適応させました。これにより、サンプル品質が大幅に向上しました。
  • バニラDDPMのような低解像度の特徴（16×16）で注意メカニズムを使用しました。
  • エンコードします $ gamma $それよりも $ t $ Paletteで、アフィン変換で埋め込みました。
  • 分散を修正します $σ_ theta（x_t、t）$ Paletteで説明されているように、推論中に定数に。

状態

コード

  • 拡散モデルパイプライン
  • 列車/テストプロセス
  • トレーニング状態を保存/ロードします
  • Logger/Tensorboard
  • 複数のGPUトレーニング（DDP）
  • エマ
  • メトリック（今はfidのためです）
  • データセット（現在の入力、非作物、色付けのために）
  • Google Colabスクリプト？（現在のインパインティング用）

タスク

私は次のようなタスクに従うようにしています：

  • セレバクでの入力（Google Colab）
  • 128×128のセンタリングマスクを備えたPlaces2に入力

時間の不足とGPUリソースのために、フォローアップ実験は不確かです。

  • 場所に登場する2
  • Imagenet valセットの着色

結果

DDPMモデルには重要な計算リソースが必要であり、このペーパーのアイデアを検証するためのモデルの例をいくつか構築しました。

ビジュアル

Celeba-hq

結果200エポックと930kの反復、およびセンタリングマスクと不規則なマスクの最初の100個のサンプルがあります。

process_02323process_02323

128×128センタリングマスクを備えた場所2

結果16個のエポックと660kの反復、およびいくつかの選択されたサンプルがセンタリングマスクで選ばれました。

mask_places365_test_00209019.jpgmask_places365_test_00143399.jpgmask_places365_test_00263905.jpgmask_places365_test_00144085.jpg
out_places365_test_00209019out_places365_test_00143399.jpgout_places365_test_00263905.jpgout_places365_test_00144085.jpg

場所に登場する2

8つのエポックと330kの反復、およびいくつかの選択されたサンプルが登場した結果。

process_places365_test_00309553process_places365_test_00042384

メトリック

タスクデータセットエマfid（ - ） IS（+）
センターリングマスクでの開始Celeba-hq間違い5.7873 3.0705
不規則なマスクで開始しますCeleba-hq間違い5.4026 3.1221

使用法

環境

 pip install - r requirements . txt

事前に訓練されたモデル

データセットタスク反復gpus×days×bs URL
Celeba-hqインパインティング930K 2×5×3 Googleドライブ
場所2インパインティング660K 4×8×10 Googleドライブ

BSは、GPUあたりのサンプルサイズを示します。

データ準備

それらのほとんどはKaggleから入手できます。これは公式バージョンとはわずかに異なる場合があり、公式Webサイトからダウンロードすることもできます。

  • Celeba-hqは変更（256x256）Kaggle
  • Places2公式| Places2 kaggle
  • Imagenetの役人

トレーニングと評価には、これらのデータセットのデフォルト分割を使用します。使用するファイルリストは、celeba-hq、places2にあります。

独自のデータを準備した後、対応する構成ファイルを変更してデータを指す必要があります。例として以下を取り上げてください。 

 " which_dataset " : {  // import designated dataset using arguments 
    " name " : ["data.dataset", "InpaintDataset"], // import Dataset() class
    " args " :{ // arguments to initialize dataset
    	" data_root " : " your data path " ,
    	" data_len " : -1,
    	" mask_mode " : " hybrid "
    } 
},

Dataloaderと検証の分割に関するより多くの選択肢は、構成ファイルのdatasetsの一部にもあります。

トレーニング/履歴書トレーニング

  1. 指定されたリンクからチェックポイントをダウンロードします。
  2. resume_stateの設定ファイルを以前のチェックポイントのディレクトリに設定します。例として、このディレクトリにはトレーニング状態と保存されたモデルが含まれています。 
 " path " : { //set every part file path
	" resume_state " : "experiments/inpainting_celebahq_220426_150122/checkpoint/100" 
},
  1. ネットワークラベルをload_everything function of model.pyで設定します。デフォルトはネットワークです。チュートリアル設定に従って、オプティマイザーとモデルはそれぞれ100.Stateと100_Network.pthからロードされます。 
 netG_label = self . netG . __class__ . __name__
self . load_network ( network = self . netG , network_label = netG_label , strict = False )
  1. スクリプトを実行します： 
 python run . py - p train - c config / inpainting_celebahq . json

SR3で使用されるU-NETバックボーンとGuided Diffusionをテストし、 Guided Diffusionは、現在の実験でより堅牢なパフォーマンスを持っています。バックボーン、損失、およびメトリックに関するより多くの選択肢は、 which_networks configureファイルの一部で見つけることができます。

テスト

  1. データを準備する手順に従って、構成ファイルを変更してデータを指すようにします。
  2. 履歴書トレーニングパーツの手順に従ってモデルパスを設定します。
  3. スクリプトを実行します： 
 python run . py - p test - c config / inpainting_celebahq . json

評価

  1. グラウンドトゥルース画像とサンプル画像を保存する2つのフォルダーを作成すると、ファイル名が互いに対応する必要があります。

  2. スクリプトを実行します： 

 python eval . py - s [ ground image path ] - d [ sample image path ]

認める

私たちの仕事は、次の理論的作品に基づいています。

  • 拡散確率モデルを除去します
  • パレット：画像間拡散モデル
  • 拡散モデルは、画像合成でGANを打ち負かします

そして、私たちは次のプロジェクトから多くの利益を得ています。

  • Openai/Guided-Diffusion
  • Louisrouss/diffusionベースのモデル - 色素化
拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて