Palette Image to Image Diffusion Models

調色板：圖像到圖像擴散模型

紙|項目

簡短的

這是Pytorch的調色板的非官方實現：圖像到圖像擴散模型，它主要是從其超分辨率版本Image-Super-Susulo-Sustolution-via-via-titerative-Refinement繼承。代碼模板來自我的另一個種子項目：分佈式pytorch-template。

有一些紙張描述的實施細節：

• 我們調整了用於Guided-Diffusion的U-NET體系結構，從而大大提高了樣本質量。
• 我們在低分辨率特徵（16×16）（如香草DDPM中使用了注意機制。
• 我們編碼 $ gamma $而不是 $ t $在Palette中並嵌入仿射轉化。
• 我們修復差異 $σ_ theta（x_t，t）$如Palette所述的推斷期間的常數。

地位

代碼

• 擴散模型管道
• 火車/測試過程
• 保存/加載訓練狀態
• 記錄器/張量板
• 多個GPU培訓（DDP）
• EMA
• 指標（現在用於FID，是）
• 數據集（現在用於介紹，脫毛，著色）
• Google colab腳本？ （現在用於介紹）

任務

我嘗試按順序完成以下任務：

• 在Celebahq（Google colab）上開設
• 在28×128中心面具上塗上2個位置2

由於缺乏時間和GPU資源，後續實驗尚不確定：

• 在Places2上脫穎而出
• Imagenet Val套裝上的著色

結果

DDPM模型需要大量的計算資源，我們只構建了一些示例模型來驗證本文中的想法。

視覺效果

Celeba-HQ

結果有200個時期和930k迭代，以及以面膜和不規則面膜為中心的前100個樣品。

帶有128×128中心口罩的Places2

結果有16個時期和660k迭代，以及幾個以嵌入面膜為中心的樣品。

在Places2上脫穎而出

結果有8個時期和330k迭代，以及幾個挑選的樣品。

指標

任務	數據集	EMA	fid（ - ）	是（+）
用中心口罩塗上	Celeba-HQ	錯誤的	5.7873	3.0705
用不規則面具覆蓋	Celeba-HQ	錯誤的	5.4026	3.1221

用法

環境

 pip install - r requirements . txt

預訓練模型

數據集	任務	迭代	GPU×天×BS	URL
Celeba-HQ	插圖	930k	2×5×3	Google Drive
Places2	插圖	660k	4×8×10	Google Drive

BS表示每GPU樣本量。

數據準備

我們從Kaggle獲得了其中的大多數，這可能與官方版本略有不同，您還可以從官方網站下載它們。

• Celeba-HQ評估大小（256x256）kaggle
• Places2官員| place2 kaggle
• Imagenet官員

我們使用這些數據集的默認部門進行培訓和評估。我們使用的文件列表可以在Celeba-HQ，Place2中找到。

準備自己的數據後，您需要修改相應的配置文件以指向數據。以以下為例：

 " which_dataset " : {  // import designated dataset using arguments 
    " name " : ["data.dataset", "InpaintDataset"], // import Dataset() class
    " args " :{ // arguments to initialize dataset
    	" data_root " : " your data path " ,
    	" data_len " : -1,
    	" mask_mode " : " hybrid "
    } 
},

關於數據加載程序和驗證拆分的更多選擇也可以在配置文件的datasets集中找到。

培訓/簡歷培訓

1. 從給定的鏈接下載檢查點。
2. 將配置文件的resume_state設置為上一個檢查點的目錄。以以下為例，此目錄包含培訓狀態並保存了模型：

 " path " : { //set every part file path
	" resume_state " : "experiments/inpainting_celebahq_220426_150122/checkpoint/100" 
},

2. 將網絡標籤設置在load_everything函數的model.py ，默認為網絡。遵循教程設置，優化器和模型將分別從100.State和100_network.pth加載。

 netG_label = self . netG . __class__ . __name__
self . load_network ( network = self . netG , network_label = netG_label , strict = False )

3. 運行腳本：

 python run . py - p train - c config / inpainting_celebahq . json

我們測試了SR3中使用的U-NET主鏈並進行了Guided Diffusion Guided Diffusion ，並在我們當前的實驗中具有更強的性能。關於骨幹，損失和度量的更多選擇可以在配置文件的which_networks部分中找到。

測試

1. 修改配置文件以按照數據準備部分的步驟指向數據。
2. 按照簡歷培訓部分的步驟設置模型路徑。
3. 運行腳本：

 python run . py - p test - c config / inpainting_celebahq . json

評估

1. 創建兩個文件夾保存地面真相圖像和示例圖像，其文件名需要相互對應。

2. 運行腳本：

 python eval . py - s [ ground image path ] - d [ sample image path ]

承認

我們的工作基於以下理論著作：

• 剝離擴散概率模型
• 調色板：圖像到圖像擴散模型
• 擴散模型擊敗圖像合成上的gan

我們從以下項目中受益匪淺：

• OpenAI/指導擴散
• 路易斯/基於擴散的模型 - 彩色