AGIS Net

Agis-Net

Introdução

Esta é a implementação oficial do Pytorch da síntese artística de imagem do glifo por meio de aprendizado de poucos estágios .

papel | material suplementar

Resumo

A geração automática de imagens artísticas de glifos é uma tarefa desafiadora que atrai muitos interesses de pesquisa. Os métodos anteriores são projetados especificamente para síntese de forma ou foco na transferência de textura. Neste artigo, propomos um novo modelo, Agis-Net, para transferir estilos de forma e textura em um estágio, com apenas algumas amostras estilizadas. Para atingir esse objetivo, primeiro separamos as representações de conteúdo e estilo usando dois codificadores, garantindo a geração multi-conteúdo e multi-estilo. Em seguida, utilizamos dois decodificadores de trabalho colaborativo para gerar a imagem de forma do glifo e sua imagem de textura simultaneamente. Além disso, introduzimos uma perda de refinamento de textura local para melhorar ainda mais a qualidade das texturas sintetizadas. Dessa maneira, nosso modelo de um estágio é muito mais eficiente e eficaz do que outros métodos empilhados de vários estágios. Também propomos um conjunto de dados em larga escala com imagens de glifos chineses em vários estilos de forma e textura, renderizados de 35 fontes artísticas projetadas por profissionais com 7.326 caracteres e 2,460 fontes artísticas sintéticas com 639 caracteres, para validar a eficácia e a extensão de nosso método. Experiências extensas nos conjuntos de dados de imagem de glifos artísticos em inglês e chinês demonstram a superioridade do nosso modelo na geração de imagens de glifos estilizados de alta qualidade contra outros métodos de última geração.

Arquitetura de modelo

Pular a conexão	Discriminador local

Alguns resultados

Pré -requisitos

• Linux
• CPU ou NVIDIA GPU + CUDA CUDNN
• Python 3
• Pytorch 0.4.0+

Comece

Instalação

1. Instale Pytorch, Torchvison e dependências de https://pytorch.org
2. Instale as bibliotecas Python visdom e domine:

   pip install visdom
   pip install dominate

3. Clone este repo:

   git clone -b master --single-branch https://github.com/hologerry/AGIS-Net
   cd AGIS-Net

4. Faça o download do modelo VGG19 pré-treinado oficial: VGG19-dcbb9e9d.pth, e coloque-o sob os modelos/ pasta

Conjuntos de dados

O servidor de dados está inativo, você pode baixar os conjuntos de dados do disco PKU, Dropbox ou Mega. Faça o download dos conjuntos de dados usando o seguinte script, quatro conjuntos de dados e a imagem de glifo de estilo de fonte bruta está disponível.

Pode demorar um pouco, por favor, seja paciente

 bash ./datasets/download_dataset.sh DATASET_NAME

• base_gray_color ENGLORIDO GRADIIO SINTEIRA DA IMAGEM GLYPE DATASET, proposto por Mc-Gan.
• base_gray_texture INGLÊS GLYPE ARTISTA DA IMAGEM DE IMAGEM, proposto por Mc-Gan.
• skeleton_gray_color SINTEIRA GRADIIO DA IMAGEM GLYPE SYNTELIZADO DA IMAGEM DA IMAGEM DO NÓS.
• skeleton_gray_texture DATASE DE IMAGEM DE GLIFE ARTISTA CHINESSA proposto por nós.
• average_skeleton RAW Chinese Avgerage Font Style (Skeleton) Glyph Image DataSet proposto por nós.

Consulte os dados para obter mais detalhes sobre nossos conjuntos de dados e como preparar seus próprios conjuntos de dados.

Treinamento modelo

• Para treinar um modelo, faça o download das imagens de treinamento (por exemplo, transferência artística de glifos artísticos ingleses)

  bash ./datasets/download_dataset.sh base_gray_color
  bash ./datasets/download_dataset.sh base_gray_texture

• Treine um modelo:

  1. Inicie o visualizador do Visdom

     python -m visdom.server -port PORT

     A porta é especificada em train.sh

  2. Pré -atreto no conjunto de dados de imagem de Glyph Glyph de gradiente sintetizado

     bash ./scripts/train.sh base_gray_color GPU_ID

     GPU_ID indica qual GPU usar.

  3. Finnete no conjunto de dados de imagem de glifos artísticos

     bash ./scripts/train.sh base_gray_texture GPU_ID DATA_ID FEW_SIZE

     Data_ID indica qual fonte artística está ajustada.
     Poucos_size indica o tamanho de um conjunto de poucas fotos.

     Isso levantará um erro dizendo:

      FileNodeFoundError: [Error 2] No such file or directory: 'chechpoints/base_gray_texture/base_gray_texture_DATA_ID_TIME/latest_net_G.pth
     

     Copie o modelo pré -rastreado para o caminho acima

     cp chechpoints/base_gray_color/base_gray_color_TIME/latest_net_ * chechpoints/base_gray_texture/base_gray_texture_DATA_ID_TIME/

     E comece a treinar novamente. Vai funcionar bem.

Teste de modelo

• Para testar um modelo, copie o modelo treinado do checkpoint para a pasta pretrained_models (por exemplo, transferência de glifos artísticos ingleses)

  cp chechpoints/base_gray_color/base_gray_texture_DATA_ID_TIME/latest_net_ * pretrained_models/base_gray_texture_DATA_ID/

• Teste um modelo

  bash ./scripts/test_base_gray_texture.sh GPU_ID DATA_ID

Agradecimentos

Este código é inspirado no Bicyclegan.

Agradecimentos especiais aos seguintes trabalhos por compartilhar seu código e conjunto de dados.

• pix2pix
• Msgan
• Mc-Gan
• Tet-Gan
• Emd

Citação

Se você achar que nosso trabalho é útil, cite nosso artigo:

 @article{Gao2019Artistic,
  author = {Gao, Yue and Guo, Yuan and Lian, Zhouhui and Tang, Yingmin and Xiao, Jianguo},
  title = {Artistic Glyph Image Synthesis via One-Stage Few-Shot Learning},
  journal = {ACM Trans. Graph.},
  issue_date = {November 2019},
  volume = {38},
  number = {6},
  year = {2019},
  articleno = {185},
  numpages = {12},
  url = {http://doi.acm.org/10.1145/3355089.3356574},
  publisher = {ACM}
} 

Direitos autorais

O código e o conjunto de dados só são permitidos para uso pessoal e acadêmico.