lffont

توليد خطوط قليلة مع تمثيلات النمط الموضعي والعوامل (AAAI 2021)

إشعار: نصدر مستودع توليد الخطوط القليلة الموحدة (Clovaai/Nomousshot-font-generation). إذا كنت مهتمًا باستخدام تنفيذنا ، فيرجى زيارة المستودع الموحد.

تنفيذ Pytorch الرسمي لـ LF-FONT | ورقة | ورقة (امتداد pami)

Song Park ^1* ، Sanghyuk Chun ^2* ، Junbum Cha ² ، Bado Lee ² ، Hyunjung Shim ¹
_{* مساهمة متساوية}

مدرسة ^واحدة _{للتكنولوجيا المتكاملة ، جامعة Yonsei}
² _{Clova AI Research ، Naver Corp.}

إن توليد خطوط قليلة التلقائي في ارتفاع الطلب لأن التصميمات اليدوية باهظة الثمن وحساسة لخبرة المصممين. تهدف الأساليب الحالية لتوليد خطوط قليلة إلى تعلم عدم تشكيل عنصر النمط والمحتوى من عدد قليل من الحروف المرجعية والتركيز بشكل رئيسي على تمثيل النمط العالمي لكل نمط خط. ومع ذلك ، فإن هذا النهج يحد من النموذج في تمثيل أنماط محلية متنوعة ، وبالتالي يجعله غير مناسب لنظام الحروف الأكثر تعقيدًا ، على سبيل المثال ، الصينية ، التي تتكون شخصياتها من عدد متفاوتة من المكونات (التي تسمى غالبًا "جذرية") مع بنية معقدة للغاية. في هذه الورقة ، نقترح طريقة توليد خطوط جديدة من خلال تعلم الأنماط الموضعية ، وهي تمثيلات النمط بالمكون ، بدلاً من الأنماط الشاملة. تمكننا تمثيلات النمط المقترحة من توليف التفاصيل المحلية المعقدة في تصميمات النص. ومع ذلك ، فإن أنماط التعلم المكون من مكونات فقط من الحروف المرجعية غير ممكنة في سيناريو توليد الخطوط القليلة ، عندما يكون لدى البرنامج النصي المستهدف عددًا كبيرًا من المكونات ، على سبيل المثال ، أكثر من 200 للصينية. لتقليل عدد الحروف الرسومية المرجعية ، نقوم بتبسيط الأنماط الحكيمة عن طريق منتج من عامل المكون وعامل النمط ، مستوحى من عوامل المصفوفة منخفضة الرفاه. بفضل مزيج من التمثيل القوي واستراتيجية معاملات مضغوطة ، تُظهر طريقتنا نتائج توليد خطوط قليلة بشكل ملحوظ (مع 8 صور مرجعية فقط) من غيرها من الأحداث ، دون استخدام الإشراف القوي للمحلية ، على سبيل المثال ، موقع كل مكون أو هيكل عظمي أو ضربات.

يمكنك العثور على المزيد من المشاريع ذات الصلة على توليد خطوط قليلة في الروابط التالية:

• Clovaai/DMFONT (ECCV'20) | ورق
• Clovaai/lffont (aaai'21) | ورق
• Clovaai/Mxfont (ICCV'21) | ورق
• Clovaai/عدد قليل من الجيل

مقدمة

تنفيذ Pytorch لتوليد خطوط قليلة مع تمثيلات النمط الموضعي والعوامل .

---

المتطلبات الأساسية

• بيثون> 3.6

  يوصى باستخدام conda: https://docs.anaconda.com/anaconda/install/linux/

• Pytorch> = 1.1 (موصى به: 1.1)

  للتثبيت: https://pytorch.org/get-started/locally/

• SCONF

  للتثبيت: https://github.com/khanrc/sconf

• Numpy ، TQDM ، LMDB ، YAML ، JSONLIB ، MSGPACK

 conda install numpy tqdm lmdb ruamel.yaml jsonlib-python3 msgpack

الاستخدام

إعداد مجموعات البيانات

بناء ملف التعريف لتفريغ بيئة LMDB

• لإنشاء مجموعة بيانات مع ملفات خط truetype الخاصة بك ( .ttf ) ، هناك حاجة إلى ملف meta json-format:
  • الهيكل : القولان
  • التنسيق : {fontname: {"path": path/to/.ttf "،" charlist ": [chars to dump.]}}
  • مثال : {"font1": {"path": "./fonts/font1.ttf" ، "charlist": ["春" ، "夏" ، "秋" ، "冬"]

يمكن الوصول إلى ملف الخط الذي استخدمناه كخط المحتوى هنا.

تشغيل السيناريو

 python build_dataset.py 
    --lmdb_path path/to/dump/lmdb 
    --meta_path path/to/meta/file 
    --json_path path/to/save/dict

• الحجج
  • -LMDB_PATH: مسار لحفظ بيئة LMDB.
  • --meta_path: مسار إلى ملف meta من ملف التعريف المبني.
  • -json_path: مسار لحفظ ملف JSON ، والذي يحتوي على معلومات عن الخطوط والأحرف المتاحة.
    • يحتوي ملف JSON المحفوظ على تنسيق مثل هذا: {fontname: [قائمة الأحرف المحفوظة بتنسيق Unicode]}

بناء ملف التعريف للتدريب والاختبار

• قطار ميتا ( DICT ، تنسيق JSON )

  • يجب أن يكون لها مفاتيح "القطار" ، "صالح" ، "جدوى"
  • "Train": {font: قائمة بأحرف} للتدريب ، dict
    • المفتاح: اسم الخط / القيمة: قائمة chars في الخط الرئيسي.
    • مثال: {"font1": ["4E00" ، "4E01" ...] ، "font2": ["4E00" ، "4E01" ...]}
  • "Avail": {font: قائمة بالأحرف} التي يمكن الوصول إليها في LMDB ، DICT
    • نفس التنسيق مع "القطار"
  • "صالحة": قائمة بأحرف الخط والقائمة للتحقق من صحة ، DICT
    • يجب أن تحتوي على مفاتيح: "sea sea_fonts" ، "unseen_fonts" ، "seain_unis" ، "unseen_unis"
    • الخطوط التي شوهدت (UNIS): قائمة الخطوط (chars في Unicode) في مجموعة التدريب.
    • الخطوط غير المرئية (UNIS): قائمة الخطوط (chars in Unicode) وليس في مجموعة التدريب ، للتحقق من الصحة.
  • مثال على ملف Meta Train في meta/train.json .

• اختبار META ( DICT ، تنسيق JSON )

  • يجب أن يكون لها مفاتيح "gen_fonts" ، "gen_unis" ، "ref_unis"
  • "gen_fonts": قائمة الخطوط لتوليدها.
  • "gen_unis": قائمة من chars لتوليدها ، في يونيكود
  • "ref_unis": قائمة من chars لاستخدامها ككرات مرجعية ، في Unicode
  • مثال على ملف META اختبار في meta/test.json .

تعديل ملف التكوين

نوصي بتعديل cfgs/custom.yaml بدلاً من cfgs/default.yaml ، cfgs/combined.yaml ، أو cfgs/factorize.yaml .

مفاتيح

• use_half
  • سواء لاستخدام نصف الموتر. (هناك حاجة إلى قمة )
• use_ddp
  • سواء كنت تستخدم datadistributedParalallal ، ل gpus متعددة.
• work_dir
  • دليل الجذر للنتائج المحفوظة.
• data_path
  • مسار إلى بيئة LMDB للبيانات.
• data_meta
  • طريق لتدريب ملف التعريف.
• content_font
  • اسم الخط الذي تريد استخدامه كخط مصدر.
• القيم الأخرى هي فرطاميرات للتدريب.

يدرب

 # Phase 1 training
python train.py 
    NAME_phase1 
    cfgs/custom.yaml cfgs/combined.yaml 

# Phase 2 training
python train.py 
    NAME_phase2 
    cfgs/custom.yaml cfgs/factorize.yaml 
    --resume ./result/checkpoints/NAME_phase1/800000-NAME_phase1.pth

• الحجج
  • الاسم (الوسيطة الأولى): اسم التجربة.
    • يتم حفظ (نقاط التفتيش ، صور التحقق من الصحة ، سجلات) في ./results/(checkpoints ، الصور ، السجلات)/الاسم
  • PATH/to/config (الوسيطة الثانية): مسار إلى ملف الاهتمام.
    • يُسمح بقيم متعددة ، ولكن لا ينبغي تكرار مفاتيحهم.
    • CFGS/combined.yaml: للمرحلة 1 التدريب.
    • CFGS/Factorize.yaml: للمرحلة 2 التدريب.
  • -resume (اختياري): مسار إلى نقطة التفتيش لاستئناف.

امتحان

 python evaluator.py 
    cfgs/factorize.yaml 
    --weight weight/generator.pth 
    --img_dir path/to/save/images 
    --test_meta meta/test.json 
    --data_path path/to/data

• الحجج
  • PATH/to/config (الوسيطة الأولى): مسار إلى ملف الاهتمام.
  • -الوزن: طريق إلى الوزن المحفوظ لاختبار.
  • -IMG_DIR: مسار لحفظ الصور التي تم إنشاؤها.
  • --test_meta: مسار لاختبار ملف التعريف.
  • -data_path: مسار إلى مجموعة بيانات LMDB التي تتناسب مع الصور المرجعية.

ترخيص رمز

يتم توزيع هذا المشروع بموجب ترخيص MIT ، باستثناء الوحدات النمطية التي تم تبنيها من https://github.com/nvlabs/funit.

 LF-Font
Copyright (c) 2020-present NAVER Corp.

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in
all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
THE SOFTWARE.

شكر وتقدير

يعتمد هذا المشروع على كلوفااي/DMFONT.

كيف تستشهد

 @inproceedings{park2021lffont,
    title={Few-shot Font Generation with Localized Style Representations and Factorization},
    author={Park, Song and Chun, Sanghyuk and Cha, Junbum and Lee, Bado and Shim, Hyunjung},
    year={2021},
    booktitle={AAAI Conference on Artificial Intelligence},
}

@article{park2022lffont_extension,
    author={Park, Song and Chun, Sanghyuk and Cha, Junbum and Lee, Bado and Shim, Hyunjung},
    journal = {IEEE Transactions on Pattern Analysis & Machine Intelligence},
    title = {Few-shot Font Generation with Weakly Supervised Localized Representations},
    year = {5555},
    volume = {},
    number = {01},
    issn = {1939-3539},
    pages = {1-17},
    keywords = {},
    doi = {10.1109/TPAMI.2022.3196675},
    publisher = {IEEE Computer Society},
    address = {Los Alamitos, CA, USA},
    month = {aug}
}