lffont

幾乎沒有局部樣式表示和分解的字體生成（AAAI 2021）

注意：我們發布了統一的少數字體生成存儲庫（Clovaai/Lighshot-font Feneration）。如果您有興趣使用我們的實施，請訪問統一存儲庫。

LF-FONT的官方Pytorch實施|紙|紙（PAMI擴展）

Song Park ^1* ，Sanghyuk Chun ^2* ，Junbum Cha ² ，Bado Lee ² ，Hyunjung Shim ¹
_{*同等的貢獻}

¹_{伊桑斯大學綜合技術學院}
² _{Clova AI研究，Naver Corp.}

自動發射字體生成的需求很高，因為手動設計對設計師的專業知識昂貴且敏感。現有的少量字體生成的方法旨在學習將樣式和內容元素從幾個參考字形中解散，並主要關注每種字體樣式的通用樣式表示。但是，這種方法限制了模型代表多種本地樣式，因此使其不適合最複雜的字母系統，例如中文，其字符由具有高度複雜結構的各種組件（通常稱為“激進”）組成。在本文中，我們通過學習局部樣式（即組件樣式表示）而不是通用樣式提出了一種新穎的字體生成方法。提出的樣式表示使我們能夠在文本設計中綜合複雜的本地細節。但是，僅從參考字形的學習組件樣式就在幾種字體生成的情況下是不可行的，當目標腳本具有大量的組件，例如，中文超過200個。為了減少參考字形的數量，我們以低級別矩陣分數的啟發來簡化組件因子和样式因子的乘積來簡化組件樣式。由於強大的表示和緊湊的分解策略的結合，我們的方法比其他最先進的方法顯示出比其他最先進的局部先進的字體生成結果（僅具有8個參考文字圖像），而無需使用強大的局部性監督，例如，每個組件的位置，骨架或筆觸。

您可以在以下鏈接上找到更多相關的項目：

• clovaai/dmfont（ECCV'20）|紙
• clovaai/lffont（aaai'21）|紙
• clovaai/mxfont（ICCV'21）|紙
• clovaai/firshot Font Generation unified Fir-shot Font Generation存儲庫

介紹

Pytorch實現了具有本地化樣式表示和分解的幾擊字體生成。

---

先決條件

• Python> 3.6

  建議使用conda：https：//docs.anaconda.com/anaconda/install/linux/

• pytorch> = 1.1 （建議：1.1）

  安裝：https：//pytorch.org/get-started/locally/

• 斯科夫

  安裝：https：//github.com/khanrc/sconf

• Numpy，TQDM，LMDB，YAML，JSONLIB，MSGPACK

 conda install numpy tqdm lmdb ruamel.yaml jsonlib-python3 msgpack

用法

準備數據集

構建元文件以轉儲LMDB環境

• 要使用您自己的truetype字體文件（ .ttf ）構建數據集，需要一個JSON-Format Meta文件：
  • 結構： dict
  • 格式：{fontname：{“ path”：path/to/.ttf“，“ charlist”：[chars to dump。]}}}
  • 示例：{“ font1”：{“ path”：“ ./fonts/font1.ttf”，“ charlist”：[“春”，“夏”，“秋”，“冬”，“冬”]}}

我們用作內容字體的字體文件可以在此處訪問。

運行腳本

 python build_dataset.py 
    --lmdb_path path/to/dump/lmdb 
    --meta_path path/to/meta/file 
    --json_path path/to/save/dict

• 爭論
  • -lmdb_path：保存LMDB環境的路徑。
  • -meta_path：通往已建立元文件的元文件的路徑。
  • -json_path：保存JSON文件的路徑，其中包含可用字體和字符的信息。
    • 保存的JSON文件具有這樣的格式：{fontname：[以Unicode格式保存的字符列表]}}

構建元文件進行訓練和測試

• 火車元（ dict，json格式）

  • 應該有鑰匙； “火車”，“有效”，“可用”
  • “火車”：{font：字符列表}對訓練， dict
    • 鍵：字體名稱 /值：鍵字體中的字符列表。
    • 示例：{“ font1”：[“ 4E00”，“ 4E01” ...]，“ font2”：[“ 4E00”，“ 4E01” ...]}
  • “ avail”：{font：字符列表}對，在lmdb中可訪問， dict
    • 與“火車”的格式相同
  • “有效”：字體列表和列表驗證字符， dict
    • 應該有鍵：“ Sew_fonts”，“ unseen_fonts”，“ sigh_unis”，“ unseen_unis”
    • 看到字體（UNIS）：訓練集中字體（Unicode中的字符）列表。
    • 看不見的字體（UNIS）：字體列表（Unicode中的字符）未在培訓集中進行驗證。
  • 火車元文件的一個示例是在meta/train.json中。

• 測試元（ dict，json格式）

  • 應該有鑰匙； “ gen_fonts”，“ gen_unis”，“ ref_unis”
  • “ gen_fonts”：要生成字體列表。
  • “ gen_unis”：在Unicode中生成的字符列表
  • “ ref_unis”：在Unicode中用作參考字符的字符列表
  • 測試元文件的一個示例是在meta/test.json中。

修改配置文件

我們建議修改cfgs/custom.yaml而不是cfgs/default.yaml ， cfgs/combined.yaml或cfgs/factorize.yaml 。

鑰匙

• use_half
  • 是否使用半張量。 （最需要）
• USE_DDP
  • 是否要使用dataDistributedParallel，用於多GPU。
• work_dir
  • 保存結果的根目錄。
• data_path
  • 數據LMDB環境的路徑。
• data_meta
  • 訓練元文件的路徑。
• content_font
  • 您要用作源字體的字體名稱。
• 其他值是用於訓練的超參數。

火車

 # Phase 1 training
python train.py 
    NAME_phase1 
    cfgs/custom.yaml cfgs/combined.yaml 

# Phase 2 training
python train.py 
    NAME_phase2 
    cfgs/custom.yaml cfgs/factorize.yaml 
    --resume ./result/checkpoints/NAME_phase1/800000-NAME_phase1.pth

• 爭論
  • 名稱（第一個參數）：實驗的名稱。
    • （檢查點，驗證圖像，日誌）保存在.//results/（checkpoints，images，logs）/名稱中
  • 路徑/到/config（第二個參數）：到達的路徑。
    • 允許多個值，但不應重複其鍵。
    • CFGS/組合。 YAML：用於1階段培訓。
    • CFGS/CriveSize.YAML：用於2階段訓練。
  • - 重點（可選）：通往檢查點的路徑。

測試

 python evaluator.py 
    cfgs/factorize.yaml 
    --weight weight/generator.pth 
    --img_dir path/to/save/images 
    --test_meta meta/test.json 
    --data_path path/to/data

• 爭論
  • 路徑/到/config（第一個參數）：到達的路徑。
  • - 重量：測試的節省重量的路徑。
  • -IMG_DIR：保存生成的圖像的路徑。
  • -test_meta：測試元文件的路徑。
  • -data_path：通往參考圖像的LMDB數據集的路徑。

代碼許可證

該項目是根據MIT許可分發的，除了https://github.com/nvlabs/funit採用的模塊。

 LF-Font
Copyright (c) 2020-present NAVER Corp.

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in
all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
THE SOFTWARE.

致謝

該項目基於Clovaai/dmfont。

如何引用

 @inproceedings{park2021lffont,
    title={Few-shot Font Generation with Localized Style Representations and Factorization},
    author={Park, Song and Chun, Sanghyuk and Cha, Junbum and Lee, Bado and Shim, Hyunjung},
    year={2021},
    booktitle={AAAI Conference on Artificial Intelligence},
}

@article{park2022lffont_extension,
    author={Park, Song and Chun, Sanghyuk and Cha, Junbum and Lee, Bado and Shim, Hyunjung},
    journal = {IEEE Transactions on Pattern Analysis & Machine Intelligence},
    title = {Few-shot Font Generation with Weakly Supervised Localized Representations},
    year = {5555},
    volume = {},
    number = {01},
    issn = {1939-3539},
    pages = {1-17},
    keywords = {},
    doi = {10.1109/TPAMI.2022.3196675},
    publisher = {IEEE Computer Society},
    address = {Los Alamitos, CA, USA},
    month = {aug}
}