Усовершенствованная трансфер в стиле FONTS
Улучшенная миграция в стиле шрифта китайского персонажа на основе EMD
Сети:
Ограничение:
- Модель EMD преобразует исходный шрифт в векторное представление через стиль -энкодер. По сути, это для обучения условной миграционной сети стиля шрифта. Ввод стиля генерируется только как условие. Таким образом, обученная модель будет иметь очень плохой результат, когда она столкнется с шрифтами в стиле, которые не появляются в тренировочном наборе.
- С другой стороны, EMD использует фиксированные изображения тройного шрифта для обучения, что в определенной степени решает стиль передачи произвольных изображений шрифтов. Из -за ограничений тройных изображений каждый шрифт нуждается в одном шрифте, и потому что изображения определенного шрифта имеют меньше плохих результатов.
Улучшение:
- Используйте энкодер стиля в качестве реального энкодера стиля, чтобы непрерывно ввести полученный стиль в сетевой модуль декодера, облегчая миграцию в стиле шрифта в определенной степени. В особых случаях, например, шрифты тех же изображений в учебном наборе очень редки, что может значительно улучшить результаты исходной модели.
- Добавьте потерю GAN и тренируйте двух дискриминаторов соответственно. Один дискриминатор используется для определения того, является ли сгенерированный шрифт таким же, как входной шрифт, а другой дискриминатор используется для определения того, является ли генерируемый шрифт таким же, как шрифт в стиле ввода. В то же время, из -за существующих постоянных характеристик стиля, информация о исходном стиле вводится и оценивается как контрпример.
- Модель может быть расширена на неконтролируемое миграцию в стиле шрифта, снова зацикливая сгенерированные шрифты в генератор и выполняя противоположное преобразование, чтобы ограничить.
Примеры:
Ссылки:
- Разделение стиля и контента для обобщенного переноса стиля. Yexun Zhang, Ya Zhang, Wenbin Cai.
- Проверка произвольного стиля в режиме реального времени с адаптивной нормализацией экземпляра. Xun Huang, Serge Perportie.
- Архитектура генератора на основе стиля для генеративных состязательных сетей. Теро Каррас, Самули Лейн, Тимо Айла.
