Enhanced-font-style-transfer
Migrasi gaya font karakter Cina yang ditingkatkan berdasarkan EMD
Jaringan:
Pembatasan:
- Model EMD mengubah font asli menjadi representasi vektor melalui encoder gaya. Intinya, ini adalah untuk melatih jaringan migrasi gaya font bersyarat. Input gaya hanya dihasilkan sebagai suatu kondisi. Dengan cara ini, model terlatih akan memiliki hasil yang sangat buruk ketika bertemu font gaya yang tidak muncul dalam set pelatihan.
- Di sisi lain, EMD menggunakan gambar font triple tetap untuk pelatihan, yang memecahkan transfer gaya gambar font sewenang -wenang sampai batas tertentu. Karena keterbatasan gambar tiga kali lipat, setiap font membutuhkan font yang sama, dan karena gambar font tertentu memiliki hasil buruk yang lebih sedikit.
Peningkatan:
- Gunakan Encoder Gaya Sebagai Encoder Gaya Nyata untuk terus memasukkan gaya yang dihasilkan ke dalam modul jaringan decoder, mengurangi migrasi gaya font gaya yang tidak diketahui sampai batas tertentu. Dalam kasus khusus, misalnya, font dari gambar yang sama dalam set pelatihan sangat jarang, yang dapat sangat meningkatkan hasil model asli.
- Tambahkan kehilangan GaN dan latih dua diskriminator masing -masing. Salah satu diskriminator digunakan untuk menentukan apakah font yang dihasilkan sama dengan font input, dan diskriminator lainnya digunakan untuk menentukan apakah font yang dihasilkan sama dengan font gaya input. Pada saat yang sama, karena karakteristik konstan gaya yang ada, informasi gaya asli adalah input dan dinilai sebagai contoh tandingan.
- Model dapat diperluas ke migrasi gaya font tanpa pengawasan, melingkarkan font yang dihasilkan ke generator lagi, dan melakukan transformasi sebaliknya untuk membatasi.
Contoh:
Referensi:
- Memisahkan gaya dan konten untuk transfer gaya umum. Yexun Zhang, Ya Zhang, Wenbin Cai.
- Transfer gaya sewenang-wenang secara real-time dengan normalisasi instance adaptif. Xun Huang, Serge milik.
- Arsitektur generator berbasis gaya untuk jaringan permusuhan generatif. Tero Karras, Samuli Laine, Timo Aila.
