Transferencia de estilo mejorado
Migración mejorada de estilo de fuente de carácter chino basada en EMD
Redes:
Limición:
- El modelo EMD convierte la fuente original en una representación vectorial a través de un codificador de estilo. En esencia, es entrenar una red de migración de estilo de fuente condicional. La entrada de estilo solo se genera como condición. De esta manera, el modelo entrenado tendrá un resultado muy pobre cuando encuentre fuentes de estilo que no aparecen en el conjunto de entrenamiento.
- Por otro lado, EMD utiliza imágenes de fuentes triples fijas para el entrenamiento, que resuelve la transferencia de estilo de imágenes de fuentes arbitrarias hasta cierto punto. Debido a las limitaciones de las imágenes triples, cada fuente necesita la misma fuente y porque las imágenes de una determinada fuente tienen menos resultados malos.
Mejora:
- Use el codificador de estilo como un codificador de estilo real para ingresar continuamente el estilo resultante en el módulo de red de decodificadores, aliviando la migración de estilo de fuente de estilos desconocidos hasta cierto punto. En casos especiales, por ejemplo, las fuentes de las mismas imágenes en el conjunto de entrenamiento son muy raras, lo que puede mejorar en gran medida los resultados del modelo original.
- Agregue la pérdida de GaN y capacite a dos discriminadores respectivamente. Se usa un discriminador para determinar si la fuente generada es la misma que la fuente de entrada, y el otro discriminador se usa para determinar si la fuente generada es la misma que la fuente de estilo de entrada. Al mismo tiempo, debido a las características constantes de estilo existentes, la información de estilo original se ingresa y se juzga como un contraejemplo.
- El modelo se puede extender a la migración de estilo de fuente no supervisada, enojar las fuentes generadas en el generador nuevamente y hacer la transformación opuesta para restringir.
Ejemplos:
Referencias:
- Separar estilo y contenido para transferencia de estilo generalizado. Yexun Zhang, Ya Zhang, Wenbin Cai.
- Transferencia de estilo arbitraria en tiempo real con normalización de instancias adaptativas. Xun Huang, Serge pertenece.
- Una arquitectura generadora basada en estilo para redes adversas generativas. Tero Karras, Samuli Laine, Timo Aila.
