الصفحة الرئيسية>المتعلقة بالبرمجة>بايثون
تنزيل

نقل الانتباه

رمز Pytorch لـ "إيلاء المزيد من الاهتمام للانتباه: تحسين أداء الشبكات العصبية التلافيفية عن طريق نقل الانتباه" https://arxiv.org/abs/1612.03928
ورقة المؤتمر في ICLR2017: https://openreview.net/forum؟id=SKS9_AJEX

ماذا يوجد في هذا الريبو حتى الآن:

  • قائم على التنشيط في كود لتجارب CIFAR-10
  • رمز لتجارب ImageNet (Resnet-18-RESNET-34 الطالب-المعلم)
  • كمبيوتر محمول Jupyter لتصور خرائط الانتباه لـ RESNET-34 Visualize-antention.ipynb

آت:

  • القائم على الدراسات العليا في
  • مشاهد وتنشيط الشبل على الرمز

يستخدم الرمز pytorch https://pytorch.org. لاحظ أن التجارب الأصلية أجريت باستخدام Torch-Autograd ، فقد تم التحقق من صحة حتى الآن أن تجارب CIFAR-10 قابلة للتكرار تمامًا في Pytorch ، وهي بصدد القيام بذلك من أجل ImageNet (النتائج أسوأ قليلاً في Pytorch ، بسبب ارتفاعها).

bibtex: 

 @inproceedings{Zagoruyko2017AT,
    author = {Sergey Zagoruyko and Nikos Komodakis},
    title = {Paying More Attention to Attention: Improving the Performance of
             Convolutional Neural Networks via Attention Transfer},
    booktitle = {ICLR},
    url = {https://arxiv.org/abs/1612.03928},
    year = {2017}}

متطلبات

قم بتثبيت Pytorch أولاً ، ثم قم بتثبيت Torchnet: 

 pip install git+https://github.com/pytorch/tnt.git@master

ثم تثبيت حزم بيثون أخرى: 

 pip install -r requirements.txt

التجارب

CIFAR-10

يصف هذا القسم كيفية الحصول على النتائج في الجدول 1 من الورقة.

أولا ، تدريب المعلمين: 

 python cifar.py --save logs/resnet_40_1_teacher --depth 40 --width 1
python cifar.py --save logs/resnet_16_2_teacher --depth 16 --width 2
python cifar.py --save logs/resnet_40_2_teacher --depth 40 --width 2

للتدريب مع التنشيط في DO: 

 python cifar.py --save logs/at_16_1_16_2 --teacher_id resnet_16_2_teacher --beta 1e+3

للتدريب مع KD: 

 python cifar.py --save logs/kd_16_1_16_2 --teacher_id resnet_16_2_teacher --alpha 0.9

نحن نخطط لإضافة+KD مع تحلل beta للحصول على أفضل نتائج نقل المعرفة قريبًا.

ImageNet

نموذج ما قبل

نحن نقدم نموذج Resnet-18 pretRained مع التنشيط على أساس:

نموذج خطأ فال
RESNET-18 30.4 ، 10.8
RESNET-18-RESCENET-34-AT 29.3 ، 10.0

رابط التنزيل: https://s3.amazonaws.com/modelzoo-networks/resnet-18-at-export.pth

تعريف النموذج: https://github.com/szagoruyko/functional-zoo/blob/master/resnet-18-at-export.ipynb

مؤامرة التقارب:

تدريب من الصفر

قم بتنزيل الأوزان المسبقة لـ Resnet-34 (انظر أيضًا وظائف Zoo لمزيد من المعلومات): 

 wget https://s3.amazonaws.com/modelzoo-networks/resnet-34-export.pth

قم بإعداد البيانات التالية fb.resnet.torch وتدريب التشغيل (على سبيل المثال باستخدام 2 وحدات معالجة الرسومات): 

 python imagenet.py --imagenetpath ~/ILSVRC2012 --depth 18 --width 1 
                   --teacher_params resnet-34-export.hkl --gpu_id 0,1 --ngpu 2 
                   --beta 1e+3
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل