UniDiffusion

Unidiffusion

التنقل في آية Uni من نماذج الانتشار مع سير العمل uni fied.

مقدمة

Unidiffusion هو صندوق أدوات يوفر خوارزميات التدريب والاستدلال الحديثة ، على أساس الناشرون. يهدف Unidiffusion إلى الباحثين والمستخدمين الذين يرغبون في تخصيص تدريب الانتشار المستقر بعمق. نأمل أن يوفر مستودع الرمز هذا الدعم الممتاز لتمديدات الأبحاث والتطبيق المستقبلية.

إذا كنت ترغب أيضًا في تنفيذ الأشياء التالية ، فاستعمل مع Unidiffusion

• قم بتدريب cross attention فقط (أو convolution / feedforward / ...) طبقة.
• اضبط lr / weight decay / ... لطبقات مختلفة.
• باستخدام أو دعم أساليب PEFT/PETL لطبقات مختلفة ودمجها بسهولة ، على سبيل المثال ، Finetune طبقة الالتواء وتحديث طبقة الانتباه مع LORA.
• قم بتدريب جميع المعلمات في الانتشار المستقر ، بما في ذلك unet و vae و text_encoder وحفظ وتحميل تلقائيًا.

ملاحظة: لا يزال التوطين قيد التطوير. يتم استعارة بعض الوحدات النمطية من مستودعات الرموز الأخرى ولم يتم اختبارها بعد ، خاصة المكونات التي لم يتم تمكينها افتراضيًا في نظام التكوين. نحن نعمل بجد لتحسين هذا المشروع.

سمات

• تصميم وحدات . تم تصميم Unidiffusion مع بنية معيارية. يتيح التصميم المعياري التنفيذ السهل لطرق جديدة.
• نظام التكوين . نظام LazyConfig للحصول على جملة أكثر مرونة وملفات التكوين الأنظف.
• سهل الاستخدام .
  • التدريب الموزع : باستخدام التسريع لدعم جميع بيئة التدريب الموزعة.
  • تتبع التجربة : استخدام WANDB لتسجيل جميع معلومات التدريب.
  • التقييم الموزع : تقييم ✅fid ، ✅is ، درجة مقطع أثناء التدريب

سير العمل التدريبي الموحد

في Unidiffusion ، تتحلل جميع أساليب التدريب إلى ثلاثة أبعاد

• المعلمات القابلة للتعلم : أي طبقة أو الوحدة التي سيتم تحديثها.
• طريقة PEFT/PETL : كيفية تحديثها. على سبيل المثال ، Finetune ، التكيف منخفض الرتبة ، محول ، إلخ.
• عملية التدريب : الافتراضي لتبادل الانتشار ، والذي يمكن تمديده مثل XTI.

يسمح لنا بإجراء خط أنابيب تدريب موحد مع نظام تكوين قوي.

مثال على الاختلاف في تدريب سير العمل من قواعد الكود الأخرى.

هنا مثال بسيط. في الناشرون ، تدريب text-to-image finetune dreambooth مثل:

python train_dreambooth.py --arg ......
python train_finetune.py --arg ......

والجمع بين أو ضبط بعض الأساليب أمر صعب (على سبيل المثال ، تدريب الانتباه فقط خلال Dreambooth).

في Unidiffusion ، يمكننا بسهولة تصميم حجج التدريب الخاصة بنا في ملف التكوين:

 # text-to-image finetune
unet . training_args = { '' : { 'mode' : 'finetune' }}
# text-to-image finetune with lora
unet . training_args = { '' : { 'mode' : 'lora' }}
# update cross attention with lora
unet . training_args = { 'attn2' : { 'mode' : 'lora' }}

# dreambooth
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True }}
# dreambooth with small lr for text-encoder
unet . training_args = { '' : { 'mode' : 'finetune' }}
text_encoder . training_args = { 'text_embedding' : { 'initial' : True , 'optim_kwargs' : { 'lr' : 1e-6 }}}

ثم ركض

accelerate launch scripts/train.py --config-file /path/to/your/config

هذا يسهل تخصيص الأساليب ومجموعة وتعزيز الأساليب ، ويسمح أيضًا بمقارنة أوجه التشابه والاختلاف بين الطرق من خلال ملفات التكوين.

مطابقة منتظمة لاختيار الوحدة النمطية

في Unidiffusion ، نقدم نظام مطابقة منتظم لاختيار الوحدة النمطية. يسمح لنا بتحديد الوحدات النمطية عن طريق المطابقة العادية. انظر المطابقة العادية لاختيار الوحدة لمزيد من التفاصيل.

دعم قوي لطرق PEFT/PETL

نحن نقدم دعمًا قويًا لطرق PEFT/PETL. انظر أساليب PEFT/PETL لمزيد من التفاصيل.

؟ تثبيت

1. تثبيت المتطلبات الأساسية

• بيثون 3.10
• Pytorch 2.0 + CUDA11.8
• كودن

2. تثبيت المتطلبات

pip install -e requirements.txt

3. تكوين التسريع و wandb

accelerate config
wandb login

؟ ابدء

انظر القطار الانعكاس النصي / Dreambooth / Lora / text-to-image finetune للحصول على التفاصيل.

accelerate launch scrits/common.py --config-file configs/train/text_to_image_finetune.py

عرض تفصيلي

1. تدريب الانعكاس النصي / Dreambooth / Lora / text-to-image finetune.
2. تخصيص عملية التدريب الخاصة بك.

[القيام] البرنامج التعليمي

1. [تودو] دعم مجموعة بيانات جديدة.
2. [TODO] دعم طريقة PETL الجديدة.
3. [تودو] دعم خط أنابيب التدريب الجديد.

؟ طراز حديقة الحيوان

أساليب التخصيص المدعومة

• نص إلى صورة فنية
• Dreambooth
• لورا
• انعكاس نصي
• xti
• انتشار مخصص

ملاحظة: تحلل طرق التخصيص في المعلمات القابلة للتدريب ، وطرق PEFT/PETL ، وعملية التدريب في Unidiffusion. انظر ملف التكوين لمزيد من التفاصيل.

أساليب PEFT/PETL المدعومة

• ضبط دقيق
• لورا
• ريال

تودو

سنضيف الميزات التالية في المستقبل. نرحب أيضًا بالمساهمات من المجتمع. لا تتردد في سحب الطلبات أو فتح مشكلة لمناقشة الأفكار للميزات الجديدة.

• طُرق :
  • الحفاظ على الطبقة الدلالية (Dreambooth).
  • xti و diffusion المخصصة.
  • ريال وليكوريس.
• سمات :
  • دمج PEFT على النموذج الأصلي.
  • تحويل النموذج إلى الناشرون وتنسيق webui.
  • امتداد Webui.

مساهمة

نرحب بالمساهمات من مجتمع المصدر المفتوح!

يُقرّ

• تم بناء مدرب الانتشار على أساس الناشرون.
• يتم استعارة الكثير من تصميم الوحدة النمطية من Detectron2 و Detrex.
• يتم استعارة بعض تطبيقات الأساليب من الناشرين و Lycoris.

اقتباس

إذا كنت تستخدم صندوق الأدوات هذا في بحثك أو ترغب في الرجوع إلى نتائج خط الأساس المنشورة هنا ، فيرجى استخدام إدخالات bibtex التالية:

• نقلا عن unidiffusion :

 @misc { pu2022diffusion ,
  author =       { Pu Cao, Tianrui Huang, Lu Yang, Qing Song } ,
  title =        { UniDiffusion } ,
  howpublished = { url{https://github.com/PRIV-Creation/UniDiffusion} } ,
  year =         { 2023 }
}

استشهاد خوارزميات مدعومة

القادم قريبا