lora vit finetuning

لورا صقل جيد لمهام التصنيف

يوضح هذا المستودع استخدام التكيف منخفض الرتبة (LORA) لضبط النموذج الأساسي من Google لمهمتين تصنيف: تحديد العناصر الغذائية وتحديد العمل البشري . يتم تدريب كل مهمة واستنتاجها بشكل منفصل باستخدام Lora.

نموذج قاعدة

في هذه المهمة ، استخدمنا طراز Google VIT google/vit-base-patch16-224-in21k
مع حوالي 86M المعلمات. ارتباط بنموذج قاعدة الوجه المعانقة

متطلبات

هناك بعض المتطلبات لتشغيل الملفات. Python مع الإصدار> = 3.8 مطلوب.
متطلبات أخرى

• transformers
• datasets
• evaluate
• peft
• torch و torchvision

لورا صقل

لغرض التثبيت الدقيق ، استخدمنا صقل peft الفعال على مجموعتي بيانات مختلفة

• food101
• Human-Action-Recognition الرجوع إلى دفتر VIT هنا

تشغيل الاستدلال مع Gradio

من أجل تشغيل الاستدلال ، يتم تنفيذ تطبيق Gradio بسيط. يمكننا اختيار أي محول نموذج (الطعام / الإنسان) وتحميل صورة للحصول على ملصق التصنيف.
الرجوع إلى inference.py و app.py
من أجل تشغيل الاستدلال ، قم بتشغيل الكود التالي بعد تنزيل أو استنساخ المستودع.

 python app.py