charred

انتشار على دراية بالأحرف: ترميزات متعددة اللغات على دراية بالأحرف للنشرات المدركة للخطوط التي يمكن أن تهجئ بالفعل

تعبت من نماذج النص إلى الصورة التي لا تستطيع تهجئة الخطوط والطباعة بشكل صحيح أو التعامل معها بشكل صحيح؟ يبدو أن السر هو في استخدام محولات محول متعددة اللغات خالية من الرمز المميز ، والمعروف بالأحرف مثل BYT5 و Canine-C.

استبدل المقطع بـ BYT5 في خط أنابيب text-to-image HF

كجزء من Sprint Jax Diffuser Sprint ، سنستبدل رمز الرمز المميز والتشفير الخاص بـ Clip بـ BYT5 في رمز التدريب المسبق لـ HF Jax/Flax إلى الحدث.

وبشكل أكثر تحديدًا ، إليك المهام الرئيسية التي سنحاول تحقيقها أثناء العدو:

• إعداد مجموعة بيانات ما قبل التدريب: لن نتدرب على lambdalabs/pokemon-blip-captions . إذن ما هي الخيارات؟ أي شيء هنا أو هنا يأخذ خيالك؟ أو ربما diffusionDB؟ أو مزيج منقوش من العديد من مجموعات البيانات؟ ربما سنحتاج إلى الجمع بين العديد من مجموعات البيانات لأننا نتطلع إلى تغطية هذه المتطلبات:

  • نحتاج إلى عينات يوجد بها نص في المشهد محدد بشكل واضح في التسمية التوضيحية والأولوية هي القيام بذلك في صور المشهد الكامل. إذا لم نتمكن من العثور على ما يكفي ، فسنقوم بدمج المزيد من مجموعات البيانات المتخصصة لـ OCR ؛
  • تقريبا نفس توزيع اللغة مثل BYT5 ، ولكن أيضا تشمل الإندونيسية (وليس في BYT5) لمعرفة كيف يعمل وعي الأحرف عندما يتم تحديد النص في المطالبة بلغة. نحتاج إلى بناء مرافق اختبار حول اللغات التي يتحدث بها أعضاء الفريق والأصدقاء: الإندونيسية واليابانية والفرنسية والفرنسية والعربية والنرويجية والسويدية والهندية والأوردو والإنجليزية.

  نستخدم مكتبة مجموعات بيانات Face Hugging قدر الإمكان لأنه يدعم Jax خارج الصندوق. من أجل البساطة ، سوف نقصرنا على متسلسل مجموعات بيانات الوجه المعانقة مثل Laion2b EN و Multi و Nolang. سنقوم ، على الرغم من التحميل المسبق ، قبل العملية واخبارك مجموعة البيانات على القرص قبل التدريب عليه.

• تحسينات على الكود الأصلي:

  • تأكد من أنه يمكننا تشغيل الكود الأصلي كما هو على TPU VM.
  • قم بتدقيق رمز Google Cloud TPU V4-8 VM: jnp (بدلاً من NP) jit و grad و vmap و pmap و pjit في كل مكان! ويجب أن نتأكد من أننا لا نفقد أي تحسين تم إجراؤه في رمز العدو أيضًا.
  • الأجهزة للمراقبة عن بُعد TPU مع القياس عن بُعد المفتوح ، الترسور ، Perfetto ، الأوزان والتحيزات و Profiler Jax.
  • قم بتنفيذ لقطة نقطة التفتيش لقطات Milestone إلى التخزين السحابي: يجب أن نكون قادرين على تنزيل النموذج لقياس الاستدلال المحلي للتأكد من أننا على المسار الصحيح. يبدو أن هناك دعم نقطة تفتيش بدائية في الكود الأصلي.
  • لا وقت للسياسة. سيتم إيقاف تشغيل تصفية NSFW. لذلك نحن نخرج من FlaxStableDiffusionSafetyChecker من الطريق.

• استبدل المقطع بـ BYT5 في الكود الأصلي:

  • استبدال CLIPTokenizer مع ByT5Tokenizer . نظرًا لأن هذا سيتم تشغيله على وحدات المعالجة المركزية ، فليس هناك حاجة إلى Jax/Flax ما لم يكن هناك أمل في تحسين الأداء. هذا يجب أن يكون تافهة. اندمج. يحتاج الاختبار.
  • استبدال FlaxCLIPTextModel مع FlaxT5EncoderModel . قد يكون هذا سهلاً تقريبًا مثل استبدال الرمز المميز. اندمج. يحتاج الاختبار.
  • أعد كتابة CLIPImageProcessor لـ BYT5. هذا لا يزال قيد التحقيق. من غير الواضح مدى صعوبة ذلك. منتهي. يحتاج الاختبار.
  • Radapt FlaxAutoencoderKL و FlaxUNet2DConditionModel لـ BYT5 إذا لزم الأمر. منتهي. يحتاج الاختبار.
  • قم بتفكيك حلقة ما قبل التدريب الرئيسية إلى العديد من الوظائف في ملفات مصدر مختلفة من أجل قابلية القراءة وصيانة أسهل.

تقديم Calleigraphic و typographic controlnet

ثانياً ، سوف ندمج ما ورد أعلاه تطبيق Jax/Flax ControlNet المعانقة أعلاه لتحكم طباعة أفضل على الصور التي تم إنشاؤها. إلى SD المتوازن من الناحية المعجزة أعلاه ، ووفقًا لاقتراح بيتر فون بلاتن ، فإننا نقدم أيضًا فكرة التحكم المطبعي المدربين على مجموعة بيانات اصطناعية من الصور المقترنة بمواصفات متعددة اللغات من المحتوى النصي ، والتصنيف للخطوط ، والوزن ، والكيرنينج ، والقيادة ، وأي سمة نموذجية أخرى مدعومة بالمراحل CSS3 ، وكتابة modules.