AGIS Net

Agis-net

Perkenalan

Ini adalah implementasi Pytorch resmi dari sintesis gambar mesin terbang artistik melalui pembelajaran beberapa-shot satu tahap .

Kertas | bahan tambahan

Abstrak

Generasi otomatis gambar mesin terbang artistik adalah tugas yang menantang yang menarik banyak minat penelitian. Metode sebelumnya baik secara khusus dirancang untuk sintesis bentuk atau fokus pada transfer tekstur. Dalam makalah ini, kami mengusulkan model baru, Agis-net, untuk mentransfer gaya bentuk dan tekstur dalam satu tahap dengan hanya beberapa sampel bergaya. Untuk mencapai tujuan ini, pertama-tama kami melepaskan representasi untuk konten dan gaya dengan menggunakan dua encoder, memastikan generasi multi-konten dan multi-gaya. Kemudian kami menggunakan dua dekoder yang bekerja secara kolaboratif untuk menghasilkan gambar bentuk mesin terbang dan gambar teksturnya secara bersamaan. Selain itu, kami memperkenalkan kerugian penyempurnaan tekstur lokal untuk lebih meningkatkan kualitas tekstur yang disintesis. Dengan cara ini, model satu tahap kami jauh lebih efisien dan efektif daripada metode bertumpuk multi-tahap lainnya. Kami juga mengusulkan dataset skala besar dengan gambar mesin terbang Cina dalam berbagai bentuk dan gaya tekstur, diberikan dari 35 font artistik yang dirancang secara profesional dengan 7.326 karakter dan 2.460 font artistik sintetis dengan 639 karakter, untuk memvalidasi efektivitas dan perpanjangan metode kami. Eksperimen ekstensif pada dataset gambar mesin terbang artistik bahasa Inggris dan Cina menunjukkan keunggulan model kami dalam menghasilkan gambar mesin terbang bergaya berkualitas tinggi terhadap metode canggih lainnya.

Arsitektur Model

Lewati Koneksi	Diskriminator lokal

Beberapa hasil

Prasyarat

• Linux
• CPU atau NVIDIA GPU + CUDA CUDNN
• Python 3
• Pytorch 0.4.0+

Mulai

Instalasi

1. Instal Pytorch, Torchvison dan Dependencies dari https://pytorch.org
2. Instal pustaka python visdom dan dominasi:

   pip install visdom
   pip install dominate

3. Klon repo ini:

   git clone -b master --single-branch https://github.com/hologerry/AGIS-Net
   cd AGIS-Net

4. Unduh model VGG19 pra-terlatih resmi: VGG19-DCBB9E9D.pth, dan letakkan di bawah model/ folder

Kumpulan data

Server Datasets Down, Anda dapat mengunduh kumpulan data dari PKU Disk, Dropbox atau Mega. Unduh kumpulan data menggunakan skrip berikut, empat set data dan gambar Glyph gaya font rata -rata mentah tersedia.

Mungkin butuh waktu, harap bersabar

 bash ./datasets/download_dataset.sh DATASET_NAME

• base_gray_color bahasa Inggris disintesis gradien glyph dataset, diusulkan oleh mc-gan.
• base_gray_texture bahasa Inggris Bahasa Inggris Dataset Gambar Glyph, diusulkan oleh MC-GAN.
• skeleton_gray_color Dataset gambar glyph gradien sintesis Cina oleh kami.
• skeleton_gray_texture dataset gambar glyph artistik Cina yang diusulkan oleh kami.
• average_skeleton dataset gambar glyph cina rata -rata (kerangka) yang diusulkan oleh kami.

Silakan merujuk ke data untuk detail lebih lanjut tentang kumpulan data kami dan cara menyiapkan kumpulan data Anda sendiri.

Pelatihan model

• Untuk melatih model, unduh gambar pelatihan (misalnya, transfer mesin terbang artistik Inggris)

  bash ./datasets/download_dataset.sh base_gray_color
  bash ./datasets/download_dataset.sh base_gray_texture

• Latih model:

  1. Mulailah visualisasi visdom

     python -m visdom.server -port PORT

     Port ditentukan dalam train.sh

  2. Pretrain pada dataset gambar glyph gradien sintesis

     bash ./scripts/train.sh base_gray_color GPU_ID

     GPU_ID menunjukkan GPU mana yang akan digunakan.

  3. Fineture pada dataset gambar mesin terbang artistik

     bash ./scripts/train.sh base_gray_texture GPU_ID DATA_ID FEW_SIZE

     Data_ID menunjukkan font artistik mana yang disesuaikan.
     Beberapa_Size menunjukkan ukuran set beberapa tembakan.

     Itu akan menimbulkan kesalahan yang mengatakan:

      FileNodeFoundError: [Error 2] No such file or directory: 'chechpoints/base_gray_texture/base_gray_texture_DATA_ID_TIME/latest_net_G.pth
     

     Salin model pretrained ke di atas jalur

     cp chechpoints/base_gray_color/base_gray_color_TIME/latest_net_ * chechpoints/base_gray_texture/base_gray_texture_DATA_ID_TIME/

     Dan mulailah melatih lagi. Ini akan bekerja dengan baik.

Pengujian model

• Untuk menguji model, salin model terlatih dari checkpoint ke folder pretrained_models (misalnya, transfer mesin terbang artistik Inggris)

  cp chechpoints/base_gray_color/base_gray_texture_DATA_ID_TIME/latest_net_ * pretrained_models/base_gray_texture_DATA_ID/

• Uji model

  bash ./scripts/test_base_gray_texture.sh GPU_ID DATA_ID

Ucapan Terima Kasih

Kode ini terinspirasi oleh Bicyclegan.

Terima kasih khusus untuk karya -karya berikut untuk berbagi kode dan dataset mereka.

• pix2pix
• Msgan
• Mc-Gan
• Tet-Gan
• EMD

Kutipan

Jika Anda menemukan pekerjaan kami bermanfaat, silakan kutip makalah kami:

 @article{Gao2019Artistic,
  author = {Gao, Yue and Guo, Yuan and Lian, Zhouhui and Tang, Yingmin and Xiao, Jianguo},
  title = {Artistic Glyph Image Synthesis via One-Stage Few-Shot Learning},
  journal = {ACM Trans. Graph.},
  issue_date = {November 2019},
  volume = {38},
  number = {6},
  year = {2019},
  articleno = {185},
  numpages = {12},
  url = {http://doi.acm.org/10.1145/3355089.3356574},
  publisher = {ACM}
} 

Hak cipta

Kode dan dataset hanya diizinkan untuk penggunaan pribadi dan akademik.