attention transfer
1.0.0
รหัส Pytorch สำหรับ "ให้ความสนใจกับความสนใจมากขึ้น: ปรับปรุงประสิทธิภาพของเครือข่ายประสาทเทียมผ่านการถ่ายโอนความสนใจ" https://arxiv.org/abs/1612.03928
เอกสารการประชุมที่ ICLR2017: https://openreview.net/forum?id=sks9_ajex
สิ่งที่อยู่ใน repo นี้จนถึงตอนนี้:
มา:
รหัสใช้ pytorch https://pytorch.org โปรดทราบว่าการทดลองดั้งเดิมนั้นใช้โดยใช้ Torch-autograd เราได้ตรวจสอบแล้วว่าการทดลอง CIFAR-10 นั้นสามารถทำซ้ำได้ อย่างแน่นอน ใน Pytorch และอยู่ในขั้นตอนการทำเช่นนั้นสำหรับ Imagenet
bibtex:
@inproceedings{Zagoruyko2017AT,
author = {Sergey Zagoruyko and Nikos Komodakis},
title = {Paying More Attention to Attention: Improving the Performance of
Convolutional Neural Networks via Attention Transfer},
booktitle = {ICLR},
url = {https://arxiv.org/abs/1612.03928},
year = {2017}}
ก่อนอื่นติดตั้ง pytorch จากนั้นติดตั้ง Torchnet:
pip install git+https://github.com/pytorch/tnt.git@master
จากนั้นติดตั้งแพ็คเกจ Python อื่น ๆ :
pip install -r requirements.txt
ส่วนนี้อธิบายถึงวิธีการรับผลลัพธ์ในตารางที่ 1 ของกระดาษ
ขั้นแรกให้ครูฝึกอบรม:
python cifar.py --save logs/resnet_40_1_teacher --depth 40 --width 1
python cifar.py --save logs/resnet_16_2_teacher --depth 16 --width 2
python cifar.py --save logs/resnet_40_2_teacher --depth 40 --width 2
เพื่อฝึกด้วยการเปิดใช้งานที่ DO:
python cifar.py --save logs/at_16_1_16_2 --teacher_id resnet_16_2_teacher --beta 1e+3
เพื่อฝึกด้วย KD:
python cifar.py --save logs/kd_16_1_16_2 --teacher_id resnet_16_2_teacher --alpha 0.9
เราวางแผนที่จะเพิ่ม AT+KD ด้วยการสลาย beta เพื่อให้ได้ผลลัพธ์การถ่ายโอนความรู้ที่ดีที่สุดในไม่ช้า
เราจัดทำโมเดล resnet-18 pretraned พร้อมการเปิดใช้งานที่:
| แบบอย่าง | ข้อผิดพลาดวาล |
|---|---|
| resnet-18 | 30.4, 10.8 |
| resnet-18-resnet-34-at | 29.3, 10.0 |
ลิงค์ดาวน์โหลด: https://s3.amazonaws.com/modelzoo-networks/resnet-18-at-export.pth
คำจำกัดความของรุ่น: https://github.com/szagoruyko/functional-zoo/blob/master/resnet-18-at-export.ipynb
พล็อตคอนเวอร์เจนซ์:
ดาวน์โหลดน้ำหนักที่ได้รับการฝึกฝนสำหรับ RESNET-34 (ดูเพิ่มเติมที่ Functional-Zoo สำหรับข้อมูลเพิ่มเติม):
wget https://s3.amazonaws.com/modelzoo-networks/resnet-34-export.pth
เตรียมข้อมูลต่อไปนี้ fb.resnet.torch และเรียกใช้การฝึกอบรม (เช่นใช้ 2 GPU):
python imagenet.py --imagenetpath ~/ILSVRC2012 --depth 18 --width 1
--teacher_params resnet-34-export.hkl --gpu_id 0,1 --ngpu 2
--beta 1e+3
