الصفحة الرئيسية>موارد بناء الموقع>تحميل الخط
تنزيل

MX-FONT (ICCV 2021)

إشعار: نصدر مستودع توليد الخطوط القليلة الموحدة (Clovaai/Nomousshot-font-generation). إذا كنت مهتمًا باستخدام تنفيذنا ، فيرجى زيارة المستودع الموحد.

يعد تنفيذ Pytorch من رؤوس متعددة أفضل من واحد: توليد خطوط قليلة مع خبير محلي متعددي . | ورق

Song Park 1 ، Sanghyuk Chun 2 ، 3 ، Junbum Cha 3 ، Bado Lee 3 ، Hyunjung Shim 1
مدرسة واحدة للتكنولوجيا المتكاملة ، جامعة Yonsei
2 Naver AI Lab
3 نيفر كلوفا

يجب أن تفي طريقة توليد خطوط قليلة (FFG) عن هدفين: يجب أن تحافظ الصور التي تم إنشاؤها على الهيكل العالمي الأساسي للشخصية المستهدفة وتقديم النمط المرجعي المحلي المتنوع. تهدف طرق FFG الحالية إلى فصل المحتوى والأناقة إما عن طريق استخراج نمط التمثيل العالمي أو استخراج تمثيلات نمط مكون من مكونات متعددة. ومع ذلك ، فإن الطرق السابقة إما تفشل في التقاط أنماط محلية متنوعة أو لا يمكن تعميمها على شخصية ذات مكونات غير مرئية ، على سبيل المثال ، أنظمة اللغة غير المرئية. للتخفيف من المشكلات ، نقترح طريقة جديدة FFG ، تسميت العديد من الخبراء المترجمة شبكة توليد خطوط قليلة (MX-FONT). يستخرج MX-Font ميزات نمط متعددة غير مشروطة بشكل صريح على ملصقات المكونات ، ولكن تلقائيًا من قبل خبراء متعددين لتمثيل مفاهيم محلية مختلفة ، على سبيل المثال ، الجليد الفرعي على الجانب الأيسر. نظرًا لخبراء متعددين ، يمكن لـ MX-Font التقاط مفاهيم محلية متنوعة وإظهار التعميم على اللغات غير المرئية. أثناء التدريب ، نستخدم ملصقات المكونات كإشراف ضعيف لتوجيه كل خبير لتكون متخصصة لمفاهيم محلية مختلفة. نقوم بصياغة مشكلة تعيين المكون لكل خبير مثل مشكلة مطابقة الرسم البياني ، وحلها بواسطة الخوارزمية المجرية. نحن نستخدم أيضًا فقدان الاستقلال وفقدان الخصومة على غرار المحتوى لفرض تفكيك على غرار المحتوى. في تجاربنا ، يتفوق MX-Font على أساليب FFG الحديثة في الجيل الصيني والجنسية ، على سبيل المثال ، صينية إلى كورية ، جيل.

يمكنك العثور على المزيد من المشاريع ذات الصلة على توليد خطوط قليلة في الروابط التالية:

  • Clovaai/DMFONT (ECCV'20) | ورق
  • Clovaai/lffont (aaai'21) | ورق
  • Clovaai/Mxfont (ICCV'21) | ورق
  • Clovaai/عدد قليل من الجيل

المتطلبات الأساسية

  • بيثون> 3.6

    يوصى باستخدام conda: https://docs.anaconda.com/anaconda/install/linux/

  • Pytorch> = 1.5

    للتثبيت: https://pytorch.org/get-started/locally/

  • Sconf ، Numpy ، Scipy ، Scikit-Image ، TQDM ، Jsonlib ، fonttools 

 conda install numpy scipy scikit-image tqdm jsonlib-python3 fonttools

الاستخدام

لاحظ أننا نقدم فقط ملفات الخطوط على سبيل المثال ؛ ليس ملفات الخط المستخدمة للتدريب الوزن المقدم (المولد. يتم تنزيل ملفات الخطوط المثال من هنا.

إعداد البيانات

  • أمثلة مجموعات البيانات في (./data)

ملفات الخط (.ttf)

  • قم بإعداد ملفات خط TrueType (.TTF) لاستخدامها في التدريب والتحقق من الصحة.
  • ضع ملفات خط التدريب وملفات خطوط التحقق في أدلة منفصلة.

الملفات النصية التي تحتوي على الأحرف المتاحة لملفات .ttf (.txt)

  • إذا كان لديك قائمة الأحرف المتاحة بملف .ttf ، احفظ قائمة الأحرف المتاحة في ملف نصي (.txt) بنفس الاسم في نفس الدليل مع ملف TTF.
    • (مثال) ملف TTF : Data/TTFS/Train/Mashanzheng-regular.ttf ، أحرفه المتاحة : Data/TTFS/Train/Mashanzheng-regular.txt
  • يمكنك أيضًا إنشاء ملفات الأحرف المتاحة تلقائيًا باستخدام get_chars_from_ttf.py 
 # Generating the available characters file

python get_chars_from_ttf.py --root_dir path/to/ttf/dir
  • -ROOT_DIR: دليل الجذر للعثور على ملفات .ttf. سيتم معالجة جميع ملفات .ttf تحت هذا الدليل ودليله الفرعي.

ملفات JSON مع معلومات التحلل (.json)

  • هناك حاجة إلى ملفات معلومات التحلل.
    • يتم توفير ملفات الأحرف الصينية. (Data/Chn_decomposition.json ، Data/Primals.json)
    • إذا كنت ترغب في تدريب النموذج بلغة أخرى غير الصينية ، فمن الضروري أيضًا ملفات قاعدة التحلل (انظر أدناه).
      • قاعدة التحلل
        • الهيكل: القولان (بتنسيق JSON)
        • التنسيق: {char: [قائمة المكونات]}
        • مثال: {'㐬': ['亠' ، '厶' ، '川'] ، '㐭': ['亠' ، '囗' ، '口']}
      • البدائية
        • الهيكل: قائمة (بتنسيق JSON)
        • التنسيق: [ جميع المكونات في ملف قاعدة التحلل]
        • مثال: ['亠' ، '厶' ، '川' ، '囗' ، '口']

تمرين

تعديل ملف التكوين (CFGS/Train.yaml) 

 - use_ddp:  whether to use DataDistributedParallel, for multi-GPUs.
- port:  the port for the DataDistributedParallel training.

- work_dir:  the directory to save checkpoints, validation images, and the log.
- decomposition:  path to the "decomposition rule" file.
- primals:  path to the "primals" file.

- dset:  (leave blank)
  - train:  (leave blank)
    - data_dir : path to .ttf files for the training
  - val: (leave blank)
    - data_dir : path to .ttf files for the validation
    - source_font : path to .ttf file used as the source font during the validation

تشغيل التدريب 

 python train.py cfgs/train.yaml
  • الحجج
    • PATH/to/config (الوسيطة الأولى): مسار إلى ملف الاهتمام.
    • -resume (اختياري): مسار إلى نقطة التفتيش لاستئناف.

امتحان

إعداد الصور المرجعية

  • قم بإعداد الصور المرجعية وملف .ttf لاستخدامه كخط المصدر.
  • يجب وضع الصور المرجعية في هذا التنسيق: 
    * data_dir
    |-- font1
        |-- char1.png
        |-- char2.png
        |-- char3.png
    |-- font2
        |-- char1.png
        |-- char2.png
            .
            .
            .
  • أسماء الدليل أو ملفات الصور ليست مهمة ، ومع ذلك ، يجب تجميع الصور ذات النمط المرجعي نفسه بنفس الدليل.
  • إذا كنت ترغب في إنشاء أحرف محددة فقط ، فقم بإعداد الملف الذي يحتوي على قائمة الأحرف لإنشاء.
    • يتم توفير ملف المثال. (Data/Chn_gen.json)

تعديل ملف التكوين (CFGS/eval.yaml) 

 - dset:  (leave blank)
  - test:  (leave blank)
    - data_dir: path to reference images
    - source_font: path to .ttf file used as the source font during the generation
    - gen_chars_file: path to file of the characters to generate. Leave blank if you want to generate all the available characters in the source font.

إجراء اختبار 

 python eval.py 
    cfgs/eval.yaml 
    --weight generator.pth 
    --result_dir path/to/save/images
  • الحجج
    • PATH/to/config (الوسيطة الأولى): مسار إلى ملف الاهتمام.
    • -الوزن: طريق إلى الوزن المحفوظ لاختبار.
    • -result_dir: مسار لحفظ الصور التي تم إنشاؤها.

ترخيص رمز

يتم توزيع هذا المشروع بموجب ترخيص MIT ، باستثناء الوحدات النمطية التي تم تبنيها من https://github.com/nvlabs/funit. 

 MX-Font
Copyright (c) 2021-present NAVER Corp.

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in
all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
THE SOFTWARE.

شكر وتقدير

يعتمد هذا المشروع على Clovaai/DMFont و Clovaai/Lffont.

كيف تستشهد 

 @inproceedings{park2021mxfont,
    title={Multiple Heads are Better than One: Few-shot Font Generation with Multiple Localized Experts},
    author={Park, Song and Chun, Sanghyuk and Cha, Junbum and Lee, Bado and Shim, Hyunjung},
    year={2021},
    booktitle={International Conference on Computer Vision (ICCV)},
}
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل