ดาวน์โหลด network slimming - การดาวน์โหลดซอร์สโค้ด network slimming

network slimming

หลาม

1.0.0

ดาวน์โหลด

Slimming Network (Pytorch)

ที่เก็บนี้มีการใช้งาน Pytorch อย่างเป็นทางการสำหรับกระดาษต่อไปนี้
การเรียนรู้เครือข่าย convolutional ที่มีประสิทธิภาพผ่านเครือข่าย Slimming (ICCV 2017)
Zhuang Liu, Jianguo Li, Zhiqiang Shen, Gao Huang, Shoumeng Yan, Changshui Zhang

การใช้งานต้นฉบับ: การลดทอนในคบเพลิง
รหัสขึ้นอยู่กับการตัด pytorch เราเพิ่มการสนับสนุนสำหรับ resnet และ densenet

การอ้างอิง:

 @InProceedings{Liu_2017_ICCV,
    author = {Liu, Zhuang and Li, Jianguo and Shen, Zhiqiang and Huang, Gao and Yan, Shoumeng and Zhang, Changshui},
    title = {Learning Efficient Convolutional Networks Through Network Slimming},
    booktitle = {The IEEE International Conference on Computer Vision (ICCV)},
    month = {Oct},
    year = {2017}
}

การพึ่งพาอาศัยกัน

Torch v0.3.1, Torchvision v0.2.0

เลเยอร์การเลือกช่องสัญญาณ

เราแนะนำเลเยอร์ channel selection เพื่อช่วยในการตัดแต่ง Resnet และ Densenet เลเยอร์นี้ใช้งานง่าย มันเก็บ indexes พารามิเตอร์ซึ่งเริ่มต้นเป็นเวกเตอร์ All-1 ในระหว่างการตัดแต่งกิ่งมันจะตั้งสถานที่บางแห่งเป็น 0 ซึ่งสอดคล้องกับช่องทางตัดแต่ง

พื้นฐาน

อาร์กิวเมนต์ dataset ระบุชุดข้อมูลที่จะใช้: cifar10 หรือ cifar100 อาร์กิวเมนต์ arch ระบุสถาปัตยกรรมที่จะใช้: vgg , resnet หรือ densenet ความลึกถูกเลือกให้เหมือนกับเครือข่ายที่ใช้ในกระดาษ

python main.py --dataset cifar10 --arch vgg --depth 19
python main.py --dataset cifar10 --arch resnet --depth 164
python main.py --dataset cifar10 --arch densenet --depth 40

ฝึกฝนด้วย Sparsity

python main.py -sr --s 0.0001 --dataset cifar10 --arch vgg --depth 19
python main.py -sr --s 0.00001 --dataset cifar10 --arch resnet --depth 164
python main.py -sr --s 0.00001 --dataset cifar10 --arch densenet --depth 40

พรุน

python vggprune.py --dataset cifar10 --depth 19 --percent 0.7 --model [PATH TO THE MODEL] --save [DIRECTORY TO STORE RESULT]
python resprune.py --dataset cifar10 --depth 164 --percent 0.4 --model [PATH TO THE MODEL] --save [DIRECTORY TO STORE RESULT]
python denseprune.py --dataset cifar10 --depth 40 --percent 0.4 --model [PATH TO THE MODEL] --save [DIRECTORY TO STORE RESULT]

แบบจำลองการตัดแต่งจะได้รับการตั้งชื่อว่า pruned.pth.tar

ปรับแต่ง

python main.py --refine [PATH TO THE PRUNED MODEL] --dataset cifar10 --arch vgg --depth 19 --epochs 160

ผลลัพธ์

ผลลัพธ์นั้นค่อนข้างใกล้เคียงกับกระดาษต้นฉบับซึ่งผลลัพธ์ถูกผลิตโดยคบเพลิง โปรดทราบว่าเนื่องจากเมล็ดสุ่มที่แตกต่างกันอาจมีความผันผวน ~ 0.5%/1.5% ในชุดข้อมูล CIFAR-10/100 ในการวิ่งที่แตกต่างกันตามประสบการณ์ของเรา

CIFAR10

cifar10-vgg	พื้นฐาน	Sparsity (1E-4)	พรุน (70%)	Fine-Tune-160 (70%)
ความแม่นยำสูงสุด 1 (%)	93.77	93.30	32.54	93.78
พารามิเตอร์	20.04m	20.04m	2.25m	2.25m

CIFAR10-RESNET-164	พื้นฐาน	Sparsity (1E-5)	พรุน (40%)	ปรับแต่ง -160 (40%)	พรุน (60%)	Fine-Tune-160 (60%)
ความแม่นยำสูงสุด 1 (%)	94.75	94.76	94.58	95.05	47.73	93.81
พารามิเตอร์	1.71m	1.73m	1.45m	1.45m	1.12m	1.12m

CIFAR10-DENSENET-40	พื้นฐาน	Sparsity (1E-5)	พรุน (40%)	ปรับแต่ง -160 (40%)	พรุน (60%)	Fine-Tune-160 (60%)
ความแม่นยำสูงสุด 1 (%)	94.11	94.17	94.16	94.32	89.46	94.22
พารามิเตอร์	1.07m	1.07m	0.69m	0.69m	0.49m	0.49m

CIFAR100

CIFAR100-VGG	พื้นฐาน	Sparsity (1E-4)	พรุน (50%)	Fine-Tune-160 (50%)
ความแม่นยำสูงสุด 1 (%)	72.12	72.05	5.31	73.32
พารามิเตอร์	20.04m	20.04m	4.93m	4.93m

CIFAR100-RESNET-164	พื้นฐาน	Sparsity (1E-5)	พรุน (40%)	ปรับแต่ง -160 (40%)	พรุน (60%)	Fine-Tune-160 (60%)
ความแม่นยำสูงสุด 1 (%)	76.79	76.87	48.0	77.36	-	-
พารามิเตอร์	1.73m	1.73m	1.49m	1.49m	-	-

หมายเหตุ: สำหรับผลลัพธ์ของการตัดแต่งกิ่ง 60% ของช่องทางสำหรับ Resnet164-CIFAR100 ในการใช้งานนี้บางครั้งบางชั้นบางชั้นล้วนถูกตัดออกและจะมีข้อผิดพลาด อย่างไรก็ตามเรายังมีการใช้หน้ากากที่เราใช้หน้ากากกับปัจจัยการปรับขนาดในเลเยอร์ BN สำหรับ Mask Apditonaion เมื่อตัดแต่ง 60% ของช่องทางใน Resnet164-CIFAR100 เรายังสามารถฝึกอบรมเครือข่ายที่ถูกตัดแต่งได้