mxfont

MX-FONT (ICCV 2021)

AVISO: Libertamos o repositório de geração de poucas fotos unificadas (Clovaai/Fewshot-Fonte-Geração). Se você estiver interessado em usar nossa implementação, visite o repositório unificado.

A implementação de Pytorch de várias cabeças é melhor que uma: geração de fontes com poucas fotos com múltiplos especialistas localizados . | papel

Song Park ¹ , Sanghyuk Chun ^{2, 3} , Junbum Cha ³ , Bado Lee ³ , Hyunjung Shim ^1
1 _{Escola de Tecnologia Integrada, Universidade Yonsei}
² _{NAVER AI LAB}
³ _{Naver Clova}

Algum método de geração de fontes (FFG) precisa satisfazer dois objetivos: as imagens geradas devem preservar a estrutura global subjacente do caractere alvo e apresentar o diverso estilo de referência local. Os métodos FFG existentes visam separar o conteúdo e o estilo, extraindo um estilo de representação universal ou extraindo múltiplas representações de estilo componentes. No entanto, métodos anteriores não conseguem capturar diversos estilos locais ou não podem ser generalizados para um personagem com componentes invisíveis, por exemplo, sistemas de linguagem invisíveis. Para mitigar os problemas, propomos um novo método FFG, denominado vários especialistas localizados, poucas fotos de geração de fontes (MX-FONT). MX extrata os recursos de vários estilos que não estão explicitamente condicionados aos rótulos dos componentes, mas automaticamente por vários especialistas para representar diferentes conceitos locais, por exemplo, sub-glifo do lado esquerdo. Devido aos múltiplos especialistas, o MX-FONT pode capturar diversos conceitos locais e mostrar a generalização para idiomas invisíveis. Durante o treinamento, utilizamos os rótulos dos componentes como supervisão fraca para orientar cada especialista a ser especializado em diferentes conceitos locais. Formulamos o componente atribuindo problemas a cada especialista como o problema de correspondência de gráficos e o resolvemos pelo algoritmo húngaro. Também empregamos a perda de independência e a perda adversária no estilo de conteúdo para impor o desembaraço do estilo de conteúdo. Em nossos experimentos, o MX-font supera os métodos anteriores de FFG de última geração na geração chinesa e na geração de geração chinesa, por exemplo, chinesa a coreana.

Você pode encontrar projetos mais relacionados na geração de fontes de poucos tiros nos links a seguir:

• Clovaai/DMFont (ECCV'20) | papel
• Clovaai/Lffont (aaai'21) | papel
• clovaai/mxfont (iccv'21) | papel
• Clovaai/Fewshot-Fonte-Geração O Repositório de Geração de Fontas de Fundamento Unificado

---

Pré -requisitos

• Python> 3.6

  Usando o CONDA é recomendado: https://docs.anaconda.com/anaconda/install/linux/

• pytorch> = 1.5

  Para instalar: https://pytorch.org/get-started/locally/

• SCONF, Numpy, Scipy, Scikit-Image, TQDM, JSONLIB, FONTTOOLS

 conda install numpy scipy scikit-image tqdm jsonlib-python3 fonttools

Uso

Observe que fornecemos apenas os arquivos de fonte de exemplo; Não os arquivos de fonte usados para o treinamento o peso fornecido (gerador.th) . Os arquivos de fonte de exemplo são baixados daqui.

Preparando dados

• Os exemplos de conjuntos de dados estão em (./data)

Arquivos de fonte (.ttf)

• Prepare os arquivos de fonte TrueType (.ttf) para usar para o treinamento e a validação.
• Coloque os arquivos de fonte de treinamento e os arquivos de fonte de validação em diretórios separados.

Os arquivos de texto que contêm os caracteres disponíveis dos arquivos .ttf (.txt)

• Se você tiver a lista de caracteres disponível de um arquivo .ttf, salve sua lista de caracteres disponíveis em um arquivo de texto (.txt) com o mesmo nome no mesmo diretório com o arquivo TTF.
  • (Exemplo) Arquivo TTF : Data/TTFS/Train/Mashanzheng-regular.ttf, seus caracteres disponíveis : Data/TTFS/Train/mashanzheng-regular.txt
• Você também pode gerar os arquivos de caracteres disponíveis automaticamente usando o get_chars_from_ttf.py

 # Generating the available characters file

python get_chars_from_ttf.py --root_dir path/to/ttf/dir

• --root_dir: o diretório raiz para encontrar os arquivos .ttf. Todos os arquivos .ttf neste diretório e seus subdiretos serão processados.

O JSON arquiva com informações de decomposição (.json)

• Os arquivos para as informações de decomposição são necessários.
  • Os arquivos para os caracteres chineses são fornecidos. (Data/chn_decomposition.json, dados/primals.json)
  • Se você deseja treinar o modelo com um idioma que não seja chinês, os arquivos para a regra de decomposição (veja abaixo) também são necessários.
    • Regra de decomposição
      • Estrutura: Dict (em formato JSON)
      • Formato: {char: [Lista de componentes]}
      • Exemplo: {'' ': [' '' ',' '', '' '],' '': ['' ',' '', '口']}
    • Primals
      • Estrutura: Lista (no formato JSON)
      • Formato: [ Todos os componentes do arquivo de regra de decomposição]
      • Exemplo: ['' ',' '', '' '', '' ',' '']

Treinamento

Modifique o arquivo de configuração (CFGS/Train.yaml)

 - use_ddp:  whether to use DataDistributedParallel, for multi-GPUs.
- port:  the port for the DataDistributedParallel training.

- work_dir:  the directory to save checkpoints, validation images, and the log.
- decomposition:  path to the "decomposition rule" file.
- primals:  path to the "primals" file.

- dset:  (leave blank)
  - train:  (leave blank)
    - data_dir : path to .ttf files for the training
  - val: (leave blank)
    - data_dir : path to .ttf files for the validation
    - source_font : path to .ttf file used as the source font during the validation

Executar treinamento

 python train.py cfgs/train.yaml

• argumentos
  • Path/to/config (primeiro argumento): arquivo de configuração do caminho para a configuração.
  • -Resume (Opcional): caminho para o ponto de verificação para retomar.

Teste

Preparando as imagens de referência

• Prepare as imagens de referência e o arquivo .ttf para usar como fonte de origem.
• As imagens de referência devem ser colocadas neste formato:

    * data_dir
    |-- font1
        |-- char1.png
        |-- char2.png
        |-- char3.png
    |-- font2
        |-- char1.png
        |-- char2.png
            .
            .
            .

• Os nomes do diretório ou os arquivos de imagem não são importantes, no entanto, as imagens com o mesmo estilo de referência devem ser agrupadas com o mesmo diretório.
• Se você deseja gerar apenas caracteres específicos, prepare o arquivo que contém a lista dos caracteres a gerar.
  • O arquivo de exemplo é fornecido. (Data/chn_gen.json)

Modifique o arquivo de configuração (cfgs/aval.yaml)

 - dset:  (leave blank)
  - test:  (leave blank)
    - data_dir: path to reference images
    - source_font: path to .ttf file used as the source font during the generation
    - gen_chars_file: path to file of the characters to generate. Leave blank if you want to generate all the available characters in the source font.

Executar teste

 python eval.py 
    cfgs/eval.yaml 
    --weight generator.pth 
    --result_dir path/to/save/images

• argumentos
  • Path/to/config (primeiro argumento): arquivo de configuração do caminho para a configuração.
  • -peso: caminho para o peso salvo para testar.
  • -Result_dir: caminho para salvar imagens geradas.

Licença de código

Este projeto é distribuído pela licença do MIT, exceto Modules.py, que é adotado em https://github.com/nvlabs/funit.

 MX-Font
Copyright (c) 2021-present NAVER Corp.

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in
all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
THE SOFTWARE.

Reconhecimento

Este projeto é baseado em Clovaai/DMFont e Clovaai/Lffont.

Como citar

 @inproceedings{park2021mxfont,
    title={Multiple Heads are Better than One: Few-shot Font Generation with Multiple Localized Experts},
    author={Park, Song and Chun, Sanghyuk and Cha, Junbum and Lee, Bado and Shim, Hyunjung},
    year={2021},
    booktitle={International Conference on Computer Vision (ICCV)},
}