AGIS Net
1.0.0
これは、1段階の少ないショット学習を介した芸術的なグリフ画像合成の公式のPytorch実装です。
論文|補足資料
芸術的なグリフ画像の自動生成は、多くの研究対象を引き付ける挑戦的な作業です。以前の方法は、形状合成のために特別に設計されているか、テクスチャ転送に焦点を当てています。この論文では、少数の様式化されたサンプルを使用して、1段階の形状とテクスチャスタイルの両方を転送するように、新しいモデルAgis-netを提案します。この目標を達成するために、最初に2つのエンコーダーを使用してコンテンツとスタイルの表現を解き、マルチコンテンツとマルチスタイルの生成を保証します。次に、2つの共同作業デコーダーを利用して、Glyph Shape Imageとそのテクスチャ画像を同時に生成します。さらに、合成されたテクスチャの品質をさらに向上させるために、ローカルテクスチャの改良損失を導入します。このようにして、1段階のモデルは、他のマルチステージ積み重ねられた方法よりもはるかに効率的で効果的です。また、さまざまな形状とテクスチャスタイルの中国のグリフ画像を備えた大規模なデータセットを提案します。これは、7,326文字と639文字の2,460の合成芸術フォントを持つ35のプロフェッショナル設計の芸術フォントからレンダリングされ、メソッドの有効性と拡張性を検証します。英語と中国の両方の芸術的なグリフ画像データセットの両方の広範な実験は、他の最先端の方法に対して高品質の様式化されたグリフ画像を生成する際のモデルの優位性を示しています。
| 接続をスキップします | ローカルな識別子 |
|---|---|
 |  |
pip install visdom
pip install dominategit clone -b master --single-branch https://github.com/hologerry/AGIS-Net
cd AGIS-Netデータセットサーバーはダウンしているため、PKUディスク、Dropbox、またはMegaからデータセットをダウンロードできます。次のスクリプト、4つのデータセット、生の平均フォントスタイルのグリフ画像を使用してデータセットをダウンロードします。
しばらく時間がかかるかもしれません。我慢してください
bash ./datasets/download_dataset.sh DATASET_NAME
base_gray_color英語合成されたグラデーショングリフ画像データセット、MC-Ganが提案しました。base_gray_texture英語芸術的なグリフ画像データセット、Mc-Ganが提案しました。skeleton_gray_color中国の合成されたグラデーショングリフ画像データセット。skeleton_gray_texture私たちが提案した中国の芸術的なグリフ画像データセット。average_skeleton Raw Chinese Avgerage Font Style（Skeleton）Glyph Image Datasetが提案しました。データセットの詳細と、独自のデータセットの準備方法については、データを参照してください。
モデルをトレーニングするには、トレーニング画像をダウンロードします（たとえば、英語の芸術的なグリフ転送）
bash ./datasets/download_dataset.sh base_gray_color
bash ./datasets/download_dataset.sh base_gray_textureモデルを訓練する：
Visom Visualizerを開始します
python -m visdom.server -port PORTポートは
train.shで指定されています
合成されたグラデーショングリフ画像データセットのプレレイン
bash ./scripts/train.sh base_gray_color GPU_IDGPU_IDは、使用するGPUを示します。
芸術的なグリフ画像データセットの微調整
bash ./scripts/train.sh base_gray_texture GPU_ID DATA_ID FEW_SIZEdata_idは、どの芸術的なフォントが微調整されているかを示します。
Mople_Sizeは、少数のショットセットのサイズを示します。
それは次のように言うエラーが発生します
FileNodeFoundError: [Error 2] No such file or directory: 'chechpoints/base_gray_texture/base_gray_texture_DATA_ID_TIME/latest_net_G.pth
前処理されたモデルを上のパスにコピーします
cp chechpoints/base_gray_color/base_gray_color_TIME/latest_net_ * chechpoints/base_gray_texture/base_gray_texture_DATA_ID_TIME/そして再びトレーニングを始めます。うまく機能します。
モデルをテストするには、訓練されたモデルをcheckpointからpretrained_modelsフォルダーにコピーします（たとえば、英語の芸術的なグリフ転送）
cp chechpoints/base_gray_color/base_gray_texture_DATA_ID_TIME/latest_net_ * pretrained_models/base_gray_texture_DATA_ID/モデルをテストします
bash ./scripts/test_base_gray_texture.sh GPU_ID DATA_IDこのコードは、自転車に触発されています。
コードとデータセットを共有してくれた以下の作品に感謝します。
あなたが私たちの作品が役立つとわかったら、私たちの論文を引用してください：
@article{Gao2019Artistic,
author = {Gao, Yue and Guo, Yuan and Lian, Zhouhui and Tang, Yingmin and Xiao, Jianguo},
title = {Artistic Glyph Image Synthesis via One-Stage Few-Shot Learning},
journal = {ACM Trans. Graph.},
issue_date = {November 2019},
volume = {38},
number = {6},
year = {2019},
articleno = {185},
numpages = {12},
url = {http://doi.acm.org/10.1145/3355089.3356574},
publisher = {ACM}
}
コードとデータセットは、個人的およびアカデミックな使用のためにのみ許可されています。
