attention transfer

Передача внимания

Код Pytorch для «уделения внимания больше внимания: повышение производительности сверточных нейронных сетей посредством передачи внимания» https://arxiv.org/abs/1612.03928
Конференц -документ на ICLR2017: https://openreview.net/forum?id=sks9_ajex

Что в этом репо до сих пор:

• Основанный на активации в коде экспериментов CIFAR-10
• Код для экспериментов ImageNet (RESNET-18-RESNET-34 Студент-учитель)
• Notebook Jupyter, чтобы визуализировать карты внимания Resnet-34 Visualize-attention.ipynb

Приходящий:

• Выпускник в
• Сцены и активация на базе CUB в коде

Код использует Pytorch https://pytorch.org. Обратите внимание, что первоначальные эксперименты проводились с использованием факела-автограда, мы до сих пор подтвердили, что эксперименты CIFAR-10 точно воспроизводимы в питорхе и находятся в процессе этого для ImageNet (результаты очень хуже у питорха из-за гиперпараметра).

Bibtex:

 @inproceedings{Zagoruyko2017AT,
    author = {Sergey Zagoruyko and Nikos Komodakis},
    title = {Paying More Attention to Attention: Improving the Performance of
             Convolutional Neural Networks via Attention Transfer},
    booktitle = {ICLR},
    url = {https://arxiv.org/abs/1612.03928},
    year = {2017}}

Требования

Сначала установите Pytorch, затем установите Torchnet:

 pip install git+https://github.com/pytorch/tnt.git@master

Затем установите другие пакеты Python:

 pip install -r requirements.txt

Эксперименты

CIFAR-10

В этом разделе описывается, как получить результаты в таблице 1 статьи.

Во -первых, учителя поезда:

 python cifar.py --save logs/resnet_40_1_teacher --depth 40 --width 1
python cifar.py --save logs/resnet_16_2_teacher --depth 16 --width 2
python cifar.py --save logs/resnet_40_2_teacher --depth 40 --width 2

Тренироваться с активацией на DO:

 python cifar.py --save logs/at_16_1_16_2 --teacher_id resnet_16_2_teacher --beta 1e+3

Тренироваться с KD:

 python cifar.py --save logs/kd_16_1_16_2 --teacher_id resnet_16_2_teacher --alpha 0.9

Мы планируем добавить AT+KD с разлагающейся beta , чтобы скоро получить лучшие результаты передачи знаний.

ImageNet

Предварительная модель

Мы предоставляем предварительную модель Resnet-18 с активацией, основанной на:

Модель	val ошибка
Resnet-18	30,4, 10,8
Resnet-18-Resnet-34-At	29,3, 10,0

Ссылка скачать: https://s3.amazonaws.com/modelzoo-networks/resnet-18-at-export.pth

Определение модели: https://github.com/szagoruyko/fuctional-zoo/blob/master/resnet-18-at-export.ipynb

График сходимости:

Поезд с нуля

Загрузите предварительные веса для Resnet-34 (также для получения дополнительной информации также см. Также функционально-зоо):

 wget https://s3.amazonaws.com/modelzoo-networks/resnet-34-export.pth

Подготовьте данные после fb.resnet.torch и запустить обучение (например, с использованием 2 графических процессоров):

 python imagenet.py --imagenetpath ~/ILSVRC2012 --depth 18 --width 1 
                   --teacher_params resnet-34-export.hkl --gpu_id 0,1 --ngpu 2 
                   --beta 1e+3