vit explain Download - vit explain Source Code Download

vit explain

بايثون

1.0.0

تنزيل

شرح قابلية محولات الرؤية (في Pytorch)

هذا المستودع ينفذ طرقًا للشرح في محولات الرؤية.

انظر أيضًا https://jacobgil.github.io/deeplearning/vision-transformer-explainability

تم تنفيذه حاليًا:

انتباه انتباه.
انتباه الانتباه التدرج لتفسير الطبقة المحددة. هذه هي محاولتنا لمزيد من البناء على بدء تشغيل الانتباه وتحسينه.
تدفق الانتباه TBD هو العمل قيد التقدم.

يتضمن بعض التعديلات والحيل لجعلها تعمل:

طرق اندماج رأس مختلفة ،
إزالة أدنى الاهتمام.

الاستخدام

من الكود

 from vit_grad_rollout import VITAttentionGradRollout

model = torch . hub . load ( 'facebookresearch/deit:main' , 
'deit_tiny_patch16_224' , pretrained = True )
grad_rollout = VITAttentionGradRollout ( model , discard_ratio = 0.9 , head_fusion = 'max' )
mask = grad_rollout ( input_tensor , category_index = 243 )

من سطر الأوامر:

 python vit_explain.py --image_path <image path> --head_fusion <mean, min or max> --discard_ratio <number between 0 and 1> --category_index <category_index>

إذا لم يتم تحديد الفئة _index ، فسيتم استخدام انتباه الانتباه ، وإلا سيتم استخدام انتباه الانتباه.

لاحظ أنه بشكل افتراضي ، يستخدم هذا النموذج "الصغير" من تدريب محولات الصور الموفرة للبيانات والتقطير من خلال الاهتمام المستضاف على مركز الشعلة.

أين اهتم المحول في هذه الصورة؟

صورة	انتباه الفانيليا	مع Discard_ratio+Max Fusion

انتباه التدرج لتوضيح الفئة المحددة

يمر الاهتمام الذي يتدفق في المحول على طول المعلومات التي تنتمي إلى فصول مختلفة. يتيح لنا Rradient Out نرى المواقع التي توليها الشبكة اهتمامًا أيضًا ، لكنها لا تخبرنا شيئًا ما إذا انتهى الأمر باستخدام تلك المواقع للتصنيف النهائي.

يمكننا مضاعفة الانتباه مع التدرج من ناتج الطبقة المستهدفة ، ونأخذ المتوسط بين رؤساء الانتباه (مع إخفاء الاهتمام السلبي) للحفاظ على الاهتمام فقط الذي يساهم في الفئة المستهدفة (أو الفئات).