หน้าแรก>แหล่งข้อมูลการสร้างเว็บไซต์>ดาวน์โหลดแบบอักษร
ดาวน์โหลด

การสร้างแบบอักษรไม่กี่นัดพร้อมการเป็นตัวแทนสไตล์และการแยกตัวประกอบ (AAAI 2021)

ข้อสังเกต: เราเปิดตัวที่เก็บฟอนต์แบบฟอนต์ไม่กี่แบบที่รวมกัน (Clovaai/ไม่กี่คนที่มีการสร้างแบบฟอนต์) หากคุณสนใจที่จะใช้การใช้งานของเราโปรดไปที่ที่เก็บข้อมูลแบบครบวงจร

การใช้งาน Pytorch อย่างเป็นทางการของ LF-FONT | กระดาษ | กระดาษ (ส่วนขยาย PAMI)

Song Park 1* , Sanghyuk Chun 2* , Junbum Cha 2 , Bado Lee 2 , Hyunjung Shim 1
* การมีส่วนร่วมที่เท่าเทียมกัน

1 School of Integrated Technology, Yonsei University
2 Clova AI Research, Naver Corp.

การสร้างแบบอักษรแบบไม่กี่ตัวอัตโนมัตินั้นมีความต้องการสูงเนื่องจากการออกแบบด้วยตนเองมีราคาแพงและมีความอ่อนไหวต่อความเชี่ยวชาญของนักออกแบบ วิธีการที่มีอยู่ของการสร้างแบบอักษรไม่กี่ตัวมีจุดมุ่งหมายเพื่อเรียนรู้ที่จะคลี่คลายสไตล์สไตล์และเนื้อหาจากร่ายมนตร์อ้างอิงไม่กี่ตัวและมุ่งเน้นไปที่การเป็นตัวแทนสไตล์สากลสำหรับแต่ละสไตล์แบบอักษร อย่างไรก็ตามวิธีการดังกล่าว จำกัด แบบจำลองในการแสดงสไตล์ท้องถิ่นที่หลากหลายและทำให้ไม่เหมาะสมกับระบบตัวอักษรที่ซับซ้อนที่สุดเช่นจีนซึ่งตัวละครประกอบด้วยส่วนประกอบที่แตกต่างกัน (มักเรียกว่า "หัวรุนแรง") ที่มีโครงสร้างที่ซับซ้อนสูง ในบทความนี้เราเสนอวิธีการสร้างแบบอักษรนวนิยายโดยการเรียนรู้สไตล์การแปลคือการเป็นตัวแทนสไตล์องค์ประกอบที่ชาญฉลาดแทนที่จะเป็นสไตล์สากล การเป็นตัวแทนสไตล์ที่เสนอช่วยให้เราสามารถสังเคราะห์รายละเอียดท้องถิ่นที่ซับซ้อนในการออกแบบข้อความ อย่างไรก็ตามรูปแบบการเรียนรู้ที่ชาญฉลาดเพียงอย่างเดียวจากร่ายมนตร์อ้างอิงเป็นไปไม่ได้ในสถานการณ์การสร้างแบบอักษรไม่กี่ครั้งเมื่อสคริปต์เป้าหมายมีส่วนประกอบจำนวนมากเช่นมากกว่า 200 สำหรับภาษาจีน เพื่อลดจำนวนร่ายมนตร์อ้างอิงเราทำให้สไตล์ที่ชาญฉลาดเป็นส่วนประกอบง่ายขึ้นโดยผลิตภัณฑ์ของปัจจัยส่วนประกอบและปัจจัยสไตล์ซึ่งได้รับแรงบันดาลใจจากการแยกส่วนเมทริกซ์ระดับต่ำ ต้องขอบคุณการรวมกันของการเป็นตัวแทนที่แข็งแกร่งและกลยุทธ์การแยกตัวประกอบขนาดกะทัดรัดวิธีการของเราแสดงให้เห็นถึงผลลัพธ์การสร้างแบบอักษรไม่กี่นัดที่ดีกว่า (มีเพียง 8 ภาพ Glyph อ้างอิง) มากกว่า state-of-arts อื่น ๆ โดยไม่ต้องใช้การกำกับดูแลที่แข็งแกร่งเช่นที่ตั้งของแต่ละองค์ประกอบโครงกระดูกหรือจังหวะ

คุณสามารถค้นหาโครงการที่เกี่ยวข้องเพิ่มเติมเกี่ยวกับการสร้างแบบอักษรไม่กี่ครั้งที่ลิงค์ต่อไปนี้:

  • clovaai/dmfont (eccv'20) | กระดาษ
  • clovaai/lffont (aaai'21) | กระดาษ
  • clovaai/mxfont (iccv'21) | กระดาษ
  • clovaai/ไม่กี่ครั้ง-การสร้างรุ่นที่เก็บฟอนต์แบบฟอนต์ไม่กี่แบบแบบครบวงจร

การแนะนำ

การใช้งาน Pytorch ของ การสร้างแบบอักษรไม่กี่ครั้งด้วยการเป็นตัวแทนสไตล์และการแยกส่วนที่เป็นภาษาท้องถิ่น

ข้อกำหนดเบื้องต้น

  • Python> 3.6

    แนะนำให้ใช้ conda: https://docs.anaconda.com/anaconda/install/linux/

  • Pytorch> = 1.1 (แนะนำ: 1.1)

    ในการติดตั้ง: https://pytorch.org/get-started/locally/

  • สกอน

    ในการติดตั้ง: https://github.com/khanrc/sconf

  • numpy, tqdm, lmdb, yaml, jsonlib, msgpack 

 conda install numpy tqdm lmdb ruamel.yaml jsonlib-python3 msgpack

การใช้งาน

เตรียมชุดข้อมูล

สร้างไฟล์ Meta เป็น Dump LMDB Environment

  • ในการสร้างชุดข้อมูลด้วยไฟล์ Font TrueType ของคุณเอง ( .ttf ) จำเป็นต้องใช้ไฟล์เมตา JSON-Format:
    • โครงสร้าง : DICT
    • รูปแบบ : {fontname: {"path": path/to/.ttf "," charlist ": [chars to dump.]}}
    • ตัวอย่าง : {"font1": {"path": "./fonts/font1.ttf", "charlist": ["春", "夏", "秋", "冬"]}}}

ไฟล์ตัวอักษรที่เราใช้เป็น ตัวอักษรเนื้อหา สามารถเข้าถึงได้ที่นี่

เรียกใช้สคริปต์ 

 python build_dataset.py 
    --lmdb_path path/to/dump/lmdb 
    --meta_path path/to/meta/file 
    --json_path path/to/save/dict
  • ข้อโต้แย้ง
    • -LMDB_Path: PATH เพื่อบันทึกสภาพแวดล้อม LMDB
    • -Meta_Path: Path ไปยังไฟล์ Meta ของไฟล์ Meta ที่สร้างขึ้น
    • -JSON_Path: Path to Save File ซึ่งมีข้อมูลของแบบอักษรและอักขระที่มีอยู่
      • ไฟล์ JSON ที่บันทึกไว้มีรูปแบบเช่นนี้: {fontname: [รายการอักขระที่บันทึกไว้ในรูปแบบ Unicode]}

สร้างไฟล์เมตาเพื่อฝึกอบรมและทดสอบ

  • Train Meta ( dict, json format )

    • ควรมีกุญแจ "รถไฟ", "ถูกต้อง", "มีประโยชน์"
    • "Train": {ตัวอักษร: รายการตัวละคร} คู่สำหรับการฝึกอบรม, dict
      • คีย์: ชื่อตัวอักษร / ค่า: รายการตัวอักษรในตัวอักษรคีย์
      • ตัวอย่าง: {"Font1": ["4E00", "4E01" ... ], "Font2": ["4E00", "4E01" ... ]}
    • "มีประโยชน์": {ตัวอักษร: รายการอักขระ} คู่ที่สามารถเข้าถึงได้ใน lmdb, dict
      • รูปแบบเดียวกันกับ "รถไฟ"
    • "ถูกต้อง": รายการตัวอักษรและรายการอักขระสำหรับการตรวจสอบ DICT
      • ควรมีคีย์: "seen_fonts", "Unseen_fonts", "seen_unis", "Unseen_unis"
      • เห็นแบบอักษร (UNIS): รายการแบบอักษร (ตัวอักษรใน Unicode) ในชุดการฝึกอบรม
      • แบบอักษรที่มองไม่เห็น (UNIs): รายการแบบอักษร (ตัวอักษรใน Unicode) ไม่ได้อยู่ในชุดการฝึกอบรมเพื่อการตรวจสอบ
    • ตัวอย่างของไฟล์เมตารถไฟอยู่ใน meta/train.json

  • ทดสอบเมตา ( DICT, รูปแบบ JSON )

    • ควรมีกุญแจ "gen_fonts", "gen_unis", "ref_unis"
    • "gen_fonts": รายการแบบอักษรที่จะสร้าง
    • "gen_unis": รายการตัวอักษรที่จะสร้างใน Unicode
    • "ref_unis": รายการตัวอักษรที่จะใช้เป็นตัวอักษรอ้างอิงใน Unicode
    • ตัวอย่างของไฟล์เมตาทดสอบอยู่ใน meta/test.json

แก้ไขไฟล์การกำหนดค่า

เราขอแนะนำให้แก้ไข cfgs/custom.yaml มากกว่า cfgs/default.yaml , cfgs/combined.yaml หรือ cfgs/factorize.yaml

กุญแจ

  • use_half
    • ไม่ว่าจะใช้เทนเซอร์ครึ่ง (จำเป็นต้องมี ยอด )
  • use_ddp
    • ไม่ว่าจะใช้ dataDistributedParallel สำหรับ multi-gpus
  • work_dir
    • ไดเรกทอรีรากสำหรับผลลัพธ์ที่บันทึกไว้
  • data_path
    • PATH ไปยังสภาพแวดล้อม DATA LMDB
  • data_meta
    • PATH to Train File
  • content_font
    • ชื่อตัวอักษรที่คุณต้องการใช้เป็นตัวอักษรต้นทาง
  • ค่าอื่น ๆ คือไฮเปอร์พารามิเตอร์สำหรับการฝึกอบรม

รถไฟ 

 # Phase 1 training
python train.py 
    NAME_phase1 
    cfgs/custom.yaml cfgs/combined.yaml 

# Phase 2 training
python train.py 
    NAME_phase2 
    cfgs/custom.yaml cfgs/factorize.yaml 
    --resume ./result/checkpoints/NAME_phase1/800000-NAME_phase1.pth
  • ข้อโต้แย้ง
    • ชื่อ (อาร์กิวเมนต์แรก): ชื่อสำหรับการทดสอบ
      • (จุดตรวจภาพการตรวจสอบบันทึก) จะถูกบันทึกไว้ใน ./results/(CheckPoints, รูปภาพ, บันทึก)/ชื่อ
    • PATH/to/config (อาร์กิวเมนต์ที่สอง): พา ธ ไปยังไฟล์กำหนดค่า
      • อนุญาตให้มีค่าหลายค่า แต่คีย์ของพวกเขาไม่ควรทำซ้ำ
      • cfgs/combined.yaml: สำหรับการฝึกอบรมระยะที่ 1
      • cfgs/factorize.yaml: สำหรับการฝึกอบรมระยะที่ 2
    • -resume (ไม่บังคับ): เส้นทางไปยังจุดตรวจเพื่อกลับมาทำงานต่อ

ทดสอบ 

 python evaluator.py 
    cfgs/factorize.yaml 
    --weight weight/generator.pth 
    --img_dir path/to/save/images 
    --test_meta meta/test.json 
    --data_path path/to/data
  • ข้อโต้แย้ง
    • PATH/to/config (อาร์กิวเมนต์แรก): พา ธ ไปยังไฟล์กำหนดค่า
    • -น้ำหนัก: เส้นทางสู่การบันทึกน้ำหนักเพื่อทดสอบ
    • -img_dir: เส้นทางที่จะบันทึกภาพที่สร้างขึ้น
    • --test_meta: พา ธ ไปทดสอบไฟล์เมตา
    • -DATA_PATH: PATH ไปยังชุดข้อมูล LMDB ซึ่งเชื่อมต่อรูปภาพอ้างอิง

ใบอนุญาตรหัส

โครงการนี้มีการแจกจ่ายภายใต้ใบอนุญาต MIT ยกเว้น modules.py ซึ่งนำมาใช้จาก https://github.com/nvlabs/funit 

 LF-Font
Copyright (c) 2020-present NAVER Corp.

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in
all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
THE SOFTWARE.

การรับทราบ

โครงการนี้ขึ้นอยู่กับ clovaai/dmfont

วิธีการอ้างอิง 

 @inproceedings{park2021lffont,
    title={Few-shot Font Generation with Localized Style Representations and Factorization},
    author={Park, Song and Chun, Sanghyuk and Cha, Junbum and Lee, Bado and Shim, Hyunjung},
    year={2021},
    booktitle={AAAI Conference on Artificial Intelligence},
}

@article{park2022lffont_extension,
    author={Park, Song and Chun, Sanghyuk and Cha, Junbum and Lee, Bado and Shim, Hyunjung},
    journal = {IEEE Transactions on Pattern Analysis & Machine Intelligence},
    title = {Few-shot Font Generation with Weakly Supervised Localized Representations},
    year = {5555},
    volume = {},
    number = {01},
    issn = {1939-3539},
    pages = {1-17},
    keywords = {},
    doi = {10.1109/TPAMI.2022.3196675},
    publisher = {IEEE Computer Society},
    address = {Los Alamitos, CA, USA},
    month = {aug}
}
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด