通知:統一された少数のフォント生成リポジトリ(Clovaai/少数のショットフォントジェネレーション)をリリースします。実装の使用に興味がある場合は、Unified Repositoryをご覧ください。
複数のヘッドのPytorchの実装は、複数のローカライズされた専門家を備えた少数のショットフォント生成よりも優れています。 |紙
ソングパーク1 、サンギョクチュン2、3 、ジャンビュムチャ3 、バドリー3 、ヒョンジュンシム1
1つの統合技術学校、卵原大学
2 Naver AIラボ
3 Naver Clova
いくつかのショットフォント生成(FFG)メソッドは、2つの目的を満たす必要があります。生成された画像は、ターゲット文字の基礎となるグローバル構造を保存し、多様なローカル参照スタイルを提示する必要があります。既存のFFGメソッドは、普遍的な表現スタイルを抽出するか、複数のコンポーネントごとのスタイル表現を抽出することにより、コンテンツとスタイルを解くことを目的としています。ただし、以前の方法は、多様なローカルスタイルをキャプチャできないか、目に見えない言語システムを持つコンポーネントを持つキャラクターに一般化することはできません。問題を緩和するために、複数のローカライズされた専門家が少数のフォント生成ネットワーク(MX-Font)と名付けられた新しいFFGメソッドを提案します。 MX-Fontは、コンポーネントラベルで明示的に条件付けられていない複数のスタイル機能を抽出しますが、複数の専門家によって自動的に左側のサブガーフを表すために複数の専門家によって自動的に条件付けられます。複数の専門家により、MX-Fontは多様なローカルコンセプトをキャプチャし、目に見えない言語に対する一般化可能性を示すことができます。トレーニング中に、コンポーネントラベルを弱い監督として利用して、各専門家をさまざまなローカルコンセプトに特化するように導きます。グラフの一致問題として各専門家に割り当ての問題を策定し、ハンガリーのアルゴリズムによって解決します。また、独立損失とコンテンツスタイルの敵対的な損失を採用して、コンテンツスタイルの解き分析を課します。私たちの実験では、MX-Fontは、中国世代と韓国人から韓国の世代を横断する中国世代の以前の最先端のFFGメソッドよりも優れています。
以下のリンクで、いくつかのショットフォント生成に関するより多くの関連プロジェクトを見つけることができます。
Python> 3.6
コンドラの使用をお勧めします:https://docs.anaconda.com/anaconda/install/linux/
pytorch> = 1.5
インストールするには:https://pytorch.org/get-started/locally/
sconf、numpy、scipy、scikit-image、tqdm、jsonlib、fonttools
conda install numpy scipy scikit-image tqdm jsonlib-python3 fonttools
例のフォントファイルのみを提供することに注意してください。提供された重量(Generator.pth)のトレーニングに使用されるフォントファイルではありません。サンプルフォントファイルはここからダウンロードされています。
get_chars_from_ttf.pyを使用して、利用可能な文字ファイルを自動的に生成することもできます # Generating the available characters file
python get_chars_from_ttf.py --root_dir path/to/ttf/dir
- use_ddp: whether to use DataDistributedParallel, for multi-GPUs.
- port: the port for the DataDistributedParallel training.
- work_dir: the directory to save checkpoints, validation images, and the log.
- decomposition: path to the "decomposition rule" file.
- primals: path to the "primals" file.
- dset: (leave blank)
- train: (leave blank)
- data_dir : path to .ttf files for the training
- val: (leave blank)
- data_dir : path to .ttf files for the validation
- source_font : path to .ttf file used as the source font during the validation
python train.py cfgs/train.yaml
* data_dir
|-- font1
|-- char1.png
|-- char2.png
|-- char3.png
|-- font2
|-- char1.png
|-- char2.png
.
.
.
- dset: (leave blank)
- test: (leave blank)
- data_dir: path to reference images
- source_font: path to .ttf file used as the source font during the generation
- gen_chars_file: path to file of the characters to generate. Leave blank if you want to generate all the available characters in the source font.
python eval.py
cfgs/eval.yaml
--weight generator.pth
--result_dir path/to/save/images
このプロジェクトは、https://github.com/nvlabs/funitから採用されているmodules.pyを除き、MITライセンスの下で配布されます。
MX-Font
Copyright (c) 2021-present NAVER Corp.
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in
all copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
THE SOFTWARE.
このプロジェクトは、Clovaai/DMFontとClovaai/Lffontに基づいています。
@inproceedings{park2021mxfont,
title={Multiple Heads are Better than One: Few-shot Font Generation with Multiple Localized Experts},
author={Park, Song and Chun, Sanghyuk and Cha, Junbum and Lee, Bado and Shim, Hyunjung},
year={2021},
booktitle={International Conference on Computer Vision (ICCV)},
}