SKFont

Skfont

導入

これは、Skfont：Skeleton駆動の韓国フォント合成の条件付き深い敵対的ネットワークのTensorflow実装です。

紙

抽象的な

私たちの研究では、韓国のキャラクターの小さなサンプル（ハングル）を持つエンドツーエンドの条件深い敵対的ネットワークを使用して、フォント合成の問題を研究しています。ハングルは11,172文字で構成され、複数の配置パターンで執筆することで構成されています。伝統的に、フォントデザインでは、1年間のスタイルセットを完成させるのに簡単に1年かかる人間の労働力が必要でした。プログラム可能なアプローチの助けがあっても、それはまだ長い時間がかかり、パラメーターを変更する自由に関する制限から逃れることはできません。深いニューラルネットワーク領域では、人間の介入なしにキャラクターを生成するために、多くの試験が試みられています。私たちの研究は、エンドツーエンドの深い学習モデルであるスケルトン駆動型フォントジェネレーター（Skfont）に焦点を当てています。114サンプルが与えられた場合、システムは同じ指定されたフォントスタイルで残りの文字を自動的に生成します。 Skfontには3つのステップが含まれます。最初に、114のターゲット文字を観察することにより、完全なターゲットフォント文字を生成します。次に、最初のステップから得られた合成された文字のスケルトン（構造）を抽出します。このプロセスにより、システム全体のプロセス全体でキャラクターの主要な構造を維持するようになります。最後に、ターゲットフォントのスタイルをこれらの学習構造に転送します。私たちの研究では、「スケルトン駆動型の」条件深い深い敵対的なネットワークを使用して、ぼかし、破壊、繊細な形状やスタイルの配信の欠如など、長い期限切れの不足を解決します。最先端の方法との定性的および定量的比較は、提案されたSkfontメソッドの優位性を示しています。

モデルアーキテクチャ

いくつかの結果

SkfontはGothicとMingのフォントスタイルで結果をもたらします

Skfontは、目に見えないクロス言語で結果をもたらします

Skfontは、筆記体フォントスタイルの結果です

前提条件

• Windows
• CPUまたはNVIDIA GPU + CUDA CUDNN
• Python 3.6.8
• Tensorflow-GPU 1.13.1
• 枕6.1.0

始めましょう

インストール

環境のセットアップ

1.  conda create --name tutorial-TF python=3.6.8
   

2.  conda activate tutorial-TF or activate tutorial-TF
   

3.  conda install -c anaconda tensorflow-gpu=1.13.1
   

4.  conda env update --file tools.yml
   

データセット

私たちのモデルは、F2F-F2S-S2Fという3つのサブモデルで構成されています。各モデルについて、ペアのデータセットを準備する必要があります。 IEフォントペアのデータセット、ターゲットフォントの修正スケルトンデータセット、対応するフォントデータセットへのターゲットスケルトンのソース。これを行うには、src_fontディレクトリに韓国のフォントを配置し、trg_fontディレクトリにターゲットフォントの数をn数に配置します。次に、以下のコマンドをデータ前処理のために実行します。

1. ソースフォント画像を生成します

    python ./tools/src-font-image-generator.py
   

2. ターゲットフォント画像を生成します

    python ./tools/trg-font-image-generator.py
   

3. ターゲットフォントスケルトン画像を生成します

    python ./tools/trg-skeleton-image-generator.py
   

4. ソース、ターゲット、ターゲットのスケルトンを組み合わせます

    python ./tools/combine_images.py --input_dir src-image-data/images --b_dir trg-image-data/images --c_dir skel-image-data/images --operation combine
   

5. 画像をtfrecordsに変換します

    python ./tools/images-to-tfrecords.py
   

モデルのトレーニング

モデルの事前トレーニング

 python main.py --mode train --output_dir trained_model --max_epochs 25 

モデルの微調整

目に見えないフォントスタイルを学ぶには、以下のコマンドですでに事前に訓練されたモデルを微調整できます。すでに学んだフォントスタイルを生成したい場合は、以下のコマンドをスキップしてください。

 python main.py --mode train --output_dir finetuned_model --max_epochs 500 --checkpoint trained_model/ 

モデルのテスト

前と同じように画像を生成しますが、今回は別のモジュールを使用して、以下に言及したコマンドでTrecordsをテストすることを作成します。

1. 画像をtfrecordsに変換します

    python ./tools/test-images-to-tfrecords.py
   

結果を生成します

 python main.py --mode test --output_dir testing_results --checkpoint finetuned_model

謝辞

このコードは、PIX2PIX TensorFlowプロジェクトに触発されています。

コードとデータセットを共有してくれた以下の作品に感謝します。

• Tensorflow-Hangul-Recognition
• pix2pix

引用

あなたがそれが好きなら私たちの仕事を引用してください。

Ko、DH、Hassan、Au、Suk、J。et al。 Skfont：条件付きの深い敵対ネットワークを備えたスケルトン駆動の韓国フォントジェネレーター。 Ijdar（2021）。 https://doi.org/10.1007/S10032-021-00374-4

著作権

コードおよびその他の支援モジュールは、個人的および学術的な使用のためにのみ許可されています。