Transfert de style amélioré
Amélioration de la migration de style de police de caractère chinois basée sur EMD
Réseaux:
Limition:
- Le modèle EMD convertit la police d'origine en une représentation vectorielle via un encodeur de style. Essentiellement, il s'agit de former un réseau de migration de style de police conditionnel. L'entrée de style n'est générée que sous forme de condition. De cette façon, le modèle formé aura un très mauvais résultat lorsqu'il rencontrera des polices de style qui n'apparaissent pas dans l'ensemble de formation.
- D'un autre côté, EMD utilise des images de police triple fixe pour la formation, ce qui résout le transfert de style d'images de police arbitraire dans une certaine mesure. En raison des limites des images triples, chaque police a besoin de la même police, et parce que les images d'une certaine police ont moins de mauvais résultats.
Amélioration:
- Utilisez l'encodeur de style comme un encodeur de style réel pour saisir en continu le style résultant dans le module de réseau de décodeur, réduisant la migration du style de police des styles inconnus dans une certaine mesure. Dans des cas particuliers, par exemple, les polices des mêmes images dans l'ensemble de formation sont très rares, ce qui peut considérablement améliorer les résultats du modèle d'origine.
- Ajoutez la perte de Gan et entraînez respectivement deux discriminateurs. Un discriminateur est utilisé pour déterminer si la police générée est la même que la police d'entrée, et l'autre discriminateur est utilisé pour déterminer si la police générée est la même que la police de style d'entrée. Dans le même temps, en raison des caractéristiques constantes de style existantes, les informations de style d'origine sont entrées et jugées comme contre-exemple.
- Le modèle peut être étendu à la migration de style de police non supervisée, en boucle les polices générées dans le générateur et en faisant la transformation opposée en contrainte.
Exemples:
Références:
- Séparation style et contenu pour le transfert de style généralisé. Yexun Zhang, Ya Zhang, Wenbin Cai.
- Transfert de style arbitraire en temps réel avec une normalisation des instances adaptative. Xun Huang, Serge Platetie.
- Une architecture de générateur basée sur le style pour les réseaux adversariens génératifs. Tero Karras, Samuli Laine, Timo Aila.
