Transferência de estilo de fontes aprimoradas
Migração do estilo de fonte de caracteres chineses aprimorada com base no EMD
Redes:
Limição:
- O modelo EMD converte a fonte original em uma representação vetorial através de um codificador de estilo. Em essência, é treinar uma rede de migração de estilo de fonte condicional. A entrada de estilo é gerada apenas como uma condição. Dessa forma, o modelo treinado terá um resultado muito ruim quando encontrar fontes de estilo que não aparecem no conjunto de treinamento.
- Por outro lado, o EMD usa imagens de fonte tripla fixa para treinamento, que resolve a transferência de estilo de imagens de fonte arbitrária até certo ponto. Devido às limitações de imagens triplas, cada fonte precisa da mesma fonte e porque as imagens de uma determinada fonte têm menos resultados ruins.
Melhoria:
- Use o codificador de estilo como um codificador de estilo real para inserir continuamente o estilo resultante no módulo de rede do decodificador, aliviando a migração do estilo de fonte de estilos desconhecidos até certo ponto. Em casos especiais, por exemplo, as fontes das mesmas imagens no conjunto de treinamento são muito raras, o que pode melhorar bastante os resultados do modelo original.
- Adicione a perda de GaN e treine dois discriminadores, respectivamente. Um discriminador é usado para determinar se a fonte gerada é a mesma da fonte de entrada e o outro discriminador é usado para determinar se a fonte gerada é a mesma da fonte do estilo de entrada. Ao mesmo tempo, devido às características constantes do estilo existente, as informações de estilo original são inseridas e julgadas como um contra -exemplo.
- O modelo pode ser estendido à migração de estilo de fonte não supervisionada, emitindo as fontes geradas novamente para o gerador e fazendo a transformação oposta para restringir.
Exemplos:
Referências:
- Separando o estilo e o conteúdo para transferência de estilo generalizado. Yexun Zhang, Ya Zhang, Wenbin Cai.
- Transferência de estilo arbitrário em tempo real com normalização de instância adaptativa. Xun Huang, Serge pertence.
- Uma arquitetura geradora baseada em estilo para redes adversárias generativas. Tero Karras, Samuli Laine, Timo Aila.
