mxfont

MX-FONT (ICCV 2021)

ข้อสังเกต: เราเปิดตัวที่เก็บฟอนต์แบบฟอนต์ไม่กี่แบบที่รวมกัน (Clovaai/ไม่กี่คนที่มีการสร้างแบบฟอนต์) หากคุณสนใจที่จะใช้การใช้งานของเราโปรดไปที่ที่เก็บข้อมูลแบบครบวงจร

การใช้งาน Pytorch ของ หลาย ๆ หัวดีกว่าหนึ่ง: การสร้างแบบอักษรไม่กี่ครั้งกับผู้เชี่ยวชาญที่มีการแปลหลายคน - กระดาษ

Song Park ¹ , Sanghyuk Chun ^{2, 3} , Junbum Cha ³ , Bado Lee ³ , Hyunjung Shim ^1
1 _{School of Integrated Technology, Yonsei University}
² _{Naver AI Lab}
³ _{Naver clova}

วิธีการสร้างแบบอักษรไม่กี่รูปแบบ (FFG) จะต้องตอบสนองวัตถุประสงค์สองประการ: ภาพที่สร้างขึ้นควรรักษาโครงสร้างระดับโลกพื้นฐานของตัวละครเป้าหมายและนำเสนอสไตล์การอ้างอิงท้องถิ่นที่หลากหลาย วิธีการ FFG ที่มีอยู่มีจุดมุ่งหมายเพื่อคลี่คลายเนื้อหาและสไตล์โดยการแยกรูปแบบการเป็นตัวแทนสากลหรือแยกการแสดงสไตล์ส่วนประกอบที่ชาญฉลาด อย่างไรก็ตามวิธีการก่อนหน้านี้ไม่สามารถจับภาพสไตล์ท้องถิ่นที่หลากหลายหรือไม่สามารถสรุปได้กับตัวละครที่มีส่วนประกอบที่มองไม่เห็นเช่นระบบภาษาที่มองไม่เห็น เพื่อลดปัญหาเราเสนอวิธีการ FFG ใหม่ที่มีชื่อว่าผู้เชี่ยวชาญหลายคนที่มีการแปลหลายคนในการสร้างเครือข่ายการสร้างแบบอักษร (MX-FONT) MX-Font แยกคุณสมบัติหลายสไตล์ที่ไม่ได้รับการปรับอากาศอย่างชัดเจนบนฉลากส่วนประกอบ แต่โดยอัตโนมัติโดยผู้เชี่ยวชาญหลายคนเพื่อแสดงแนวคิดท้องถิ่นที่แตกต่างกันเช่น Glyph ย่อยด้านซ้าย เนื่องจากผู้เชี่ยวชาญหลายคน MX-Font สามารถจับแนวคิดท้องถิ่นที่หลากหลายและแสดงความสามารถทั่วไปในภาษาที่มองไม่เห็น ในระหว่างการฝึกอบรมเราใช้ฉลากส่วนประกอบเป็นการกำกับดูแลที่อ่อนแอเพื่อแนะนำผู้เชี่ยวชาญแต่ละคนให้มีความเชี่ยวชาญสำหรับแนวคิดท้องถิ่นที่แตกต่างกัน เรากำหนดปัญหาการกำหนดส่วนประกอบให้กับผู้เชี่ยวชาญแต่ละคนเป็นปัญหาการจับคู่กราฟและแก้ปัญหาโดยอัลกอริทึมฮังการี นอกจากนี้เรายังใช้การสูญเสียความเป็นอิสระและการสูญเสียที่เป็นปฏิปักษ์ต่อเนื้อหาเพื่อกำหนดความไม่ลงรอยกันสไตล์เนื้อหา ในการทดลองของเรา MX-Font มีประสิทธิภาพสูงกว่าวิธีการ FFG ที่ทันสมัยก่อนหน้านี้ในรุ่นจีนและข้ามภาษาเช่นจีนกับเกาหลีรุ่น

คุณสามารถค้นหาโครงการที่เกี่ยวข้องเพิ่มเติมเกี่ยวกับการสร้างแบบอักษรไม่กี่ครั้งที่ลิงค์ต่อไปนี้:

• clovaai/dmfont (eccv'20) | กระดาษ
• clovaai/lffont (aaai'21) | กระดาษ
• clovaai/mxfont (iccv'21) | กระดาษ
• clovaai/ไม่กี่ครั้ง-การสร้างรุ่นที่เก็บฟอนต์แบบฟอนต์ไม่กี่แบบแบบครบวงจร

---

ข้อกำหนดเบื้องต้น

• Python> 3.6

  แนะนำให้ใช้ conda: https://docs.anaconda.com/anaconda/install/linux/

• pytorch> = 1.5

  ในการติดตั้ง: https://pytorch.org/get-started/locally/

• Sconf, Numpy, Scipy, Scikit-Image, TQDM, Jsonlib, Fonttools

 conda install numpy scipy scikit-image tqdm jsonlib-python3 fonttools

การใช้งาน

โปรดทราบว่าเราให้เฉพาะไฟล์แบบอักษรตัวอย่างเท่านั้น ไม่ใช่ไฟล์ฟอนต์ที่ใช้สำหรับการฝึกอบรมน้ำหนักที่ให้มา (Generator.pth) ไฟล์ฟอนต์ตัวอย่างถูกดาวน์โหลดจากที่นี่

การเตรียมข้อมูล

• ตัวอย่างของชุดข้อมูลอยู่ใน (./data)

ไฟล์ตัวอักษร (.ttf)

• เตรียมไฟล์ FONT TrueType (.TTF) เพื่อใช้สำหรับการฝึกอบรมและการตรวจสอบความถูกต้อง
• ใส่ไฟล์ฟอนต์การฝึกอบรมและไฟล์การตรวจสอบความถูกต้องลงในไดเรกทอรีแยกต่างหาก

ไฟล์ข้อความที่มีอักขระที่มีอยู่ของไฟล์. ttf (.txt)

• หากคุณมีรายการอักขระที่มีอยู่ของไฟล์. ttf ให้บันทึกรายการอักขระที่มีอยู่ในไฟล์ข้อความ (.txt) ที่มีชื่อเดียวกันในไดเรกทอรีเดียวกันกับไฟล์ TTF
  • (ตัวอย่าง) ไฟล์ TTF : data/ttfs/train/mashanzheng-regular.ttf, อักขระที่มีอยู่ : data/ttfs/train/mashanzheng-regular.txt
• คุณยังสามารถสร้างไฟล์อักขระที่มีอยู่โดยอัตโนมัติโดยใช้ get_chars_from_ttf.py โดยอัตโนมัติ

 # Generating the available characters file

python get_chars_from_ttf.py --root_dir path/to/ttf/dir

• -root_dir: ไดเรกทอรีรูทเพื่อค้นหาไฟล์. ttf ไฟล์. ttf ทั้งหมดภายใต้ไดเรกทอรีนี้และไดเรกทอรีย่อยจะถูกประมวลผล

ไฟล์ JSON พร้อมข้อมูลการสลายตัว (.json)

• จำเป็นต้องมีไฟล์สำหรับข้อมูลการสลายตัว
  • มีให้ไฟล์สำหรับอักขระภาษาจีน (data/chn_decomposition.json, data/primals.json)
  • หากคุณต้องการฝึกอบรมแบบจำลองด้วยภาษาอื่นที่ไม่ใช่ภาษาจีนต้องใช้ไฟล์สำหรับกฎการสลายตัว (ดูด้านล่าง) ด้วย
    • กฎการสลายตัว
      • โครงสร้าง: DICT (ในรูปแบบ JSON)
      • รูปแบบ: {char: [รายการส่วนประกอบ]}
      • ตัวอย่าง: {'㐬': ['亠', '厶', '川'], '㐭': ['亠', '囗', '口']}
    • ปฐมกาล
      • โครงสร้าง: รายการ (ในรูปแบบ JSON)
      • รูปแบบ: [ส่วนประกอบ ทั้งหมด ในไฟล์กฎการสลายตัว]
      • ตัวอย่าง: ['亠', '厶', '川', '囗', '口']

การฝึกอบรม

แก้ไขไฟล์การกำหนดค่า (cfgs/train.yaml)

 - use_ddp:  whether to use DataDistributedParallel, for multi-GPUs.
- port:  the port for the DataDistributedParallel training.

- work_dir:  the directory to save checkpoints, validation images, and the log.
- decomposition:  path to the "decomposition rule" file.
- primals:  path to the "primals" file.

- dset:  (leave blank)
  - train:  (leave blank)
    - data_dir : path to .ttf files for the training
  - val: (leave blank)
    - data_dir : path to .ttf files for the validation
    - source_font : path to .ttf file used as the source font during the validation

ฝึกซ้อม

 python train.py cfgs/train.yaml

• ข้อโต้แย้ง
  • PATH/to/config (อาร์กิวเมนต์แรก): พา ธ ไปยังไฟล์กำหนดค่า
  • -resume (ไม่บังคับ): เส้นทางไปยังจุดตรวจเพื่อกลับมาทำงานต่อ

ทดสอบ

การเตรียมภาพอ้างอิง

• เตรียมรูปภาพอ้างอิงและไฟล์. ttf เพื่อใช้เป็นตัวอักษรต้นทาง
• ควรวางรูปภาพอ้างอิงในรูปแบบนี้:

    * data_dir
    |-- font1
        |-- char1.png
        |-- char2.png
        |-- char3.png
    |-- font2
        |-- char1.png
        |-- char2.png
            .
            .
            .

• ชื่อของไดเรกทอรีหรือไฟล์รูปภาพไม่สำคัญอย่างไรก็ตาม รูปภาพที่มีรูปแบบการอ้างอิงเดียวกันควรถูกจัดกลุ่มด้วยไดเรกทอรีเดียวกัน
• หากคุณต้องการสร้างอักขระเฉพาะให้เตรียมไฟล์ที่มีรายการอักขระเพื่อสร้าง
  • ไฟล์ตัวอย่างมีให้ (data/chn_gen.json)

แก้ไขไฟล์การกำหนดค่า (CFGS/eval.yaml)

 - dset:  (leave blank)
  - test:  (leave blank)
    - data_dir: path to reference images
    - source_font: path to .ttf file used as the source font during the generation
    - gen_chars_file: path to file of the characters to generate. Leave blank if you want to generate all the available characters in the source font.

รันทดสอบ

 python eval.py 
    cfgs/eval.yaml 
    --weight generator.pth 
    --result_dir path/to/save/images

• ข้อโต้แย้ง
  • PATH/to/config (อาร์กิวเมนต์แรก): พา ธ ไปยังไฟล์กำหนดค่า
  • -น้ำหนัก: เส้นทางสู่การบันทึกน้ำหนักเพื่อทดสอบ
  • -result_dir: เส้นทางที่จะบันทึกภาพที่สร้างขึ้น

ใบอนุญาตรหัส

โครงการนี้มีการแจกจ่ายภายใต้ใบอนุญาต MIT ยกเว้น modules.py ซึ่งนำมาใช้จาก https://github.com/nvlabs/funit

 MX-Font
Copyright (c) 2021-present NAVER Corp.

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in
all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
THE SOFTWARE.

การรับทราบ

โครงการนี้ขึ้นอยู่กับ clovaai/dmfont และ clovaai/lffont

วิธีการอ้างอิง

 @inproceedings{park2021mxfont,
    title={Multiple Heads are Better than One: Few-shot Font Generation with Multiple Localized Experts},
    author={Park, Song and Chun, Sanghyuk and Cha, Junbum and Lee, Bado and Shim, Hyunjung},
    year={2021},
    booktitle={International Conference on Computer Vision (ICCV)},
}