Enhanced-Fonts-style-transfer
基於EMD的改進漢字字體風格遷移
Networks:
Limition:
- EMD模型通過一個Style Encoder將原來的字體轉換為一個向量表示，本質上是訓練一個條件形式的字體風格遷移網絡，風格輸入僅作為條件生成， 這樣訓練出來的模型在遇到訓練集中未出現的風格字體時，結果會很差。
- 另一方面，EMD使用固定的三元組字體圖像進行訓練，一定程度上解決了任意字體圖像的風格遷移，由於三元組圖像的限制，需要每種字體需要同樣的字體，由於某種字體的的圖像較少產生糟糕的結果。
Improvment:
- 將Style Encoder 作為真正的風格編碼器，將得到的風格連續的輸入到Decoder網絡模塊中，從一定程度上緩解未知風格的字體風格遷移。在特殊的情況下，例如：訓練集中的圖像兩兩相同的字體十分稀少，能大大改善原始模型的結果。
- 添加GAN損失，分別訓練兩個判別器，一個判別器用於判斷生成的字體是否跟輸入的字體為同一個字，一個判別器用來判斷生成的字體是否跟輸入的風格字體為同一種風格字體。同時，由於存在的風格不變特性，將原始的風格信息作為反例進行輸入判斷。
- 模型可以擴展到無監督的字體風格遷移，將生成的字體再次循環輸入到生成器中，做相反的轉換進行約束。
Examples:
References:
- Separating Style and Content for Generalized Style Transfer. Yexun Zhang, Ya Zhang, Wenbin Cai.
- Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization. Xun Huang, Serge Belongie.
- A Style-Based Generator Architecture for Generative Adversarial Networks. Tero Karras, Samuli Laine, Timo Aila.
