rethinking network pruning

Memikirkan kembali nilai pemangkasan jaringan

Repositori ini berisi kode untuk mereproduksi hasil, dan model Imagenet terlatih, dalam makalah berikut:

Memikirkan kembali nilai pemangkasan jaringan. [arxiv] [OpenReview]

Zhuang Liu*, Mingjie Sun*, Tinghui Zhou, Gao Huang, Trevor Darrell (*Kontribusi yang sama).

ICLR 2019. Juga Penghargaan Kertas Terbaik di NIPS 2018 Workshop tentang Jaringan Saraf Deep Compact.

Implementasi beberapa metode pemangkasan yang terkandung dalam repo ini juga dapat dengan mudah digunakan untuk tujuan penelitian lainnya.

Ringkasan Kertas

Gambar 1: Pipa pemangkasan jaringan tiga tahap yang khas.

Makalah kami menunjukkan bahwa untuk pemangkasan terstruktur , melatih model yang dipangkas dari awal hampir dapat selalu mencapai tingkat akurasi yang sebanding atau lebih tinggi daripada model yang diperoleh dari prosedur "pelatihan, pemangkasan, dan penyesuaian" yang khas (Gbr. 1) . Kami menyimpulkan bahwa untuk metode pemangkasan itu:

1. Melatih model besar yang berlebihan seringkali tidak diperlukan untuk mendapatkan model akhir yang efisien.
2. Bobot "penting" dari model besar biasanya tidak berguna untuk model pemangkasan kecil.
3. Arsitektur yang dipangkas itu sendiri, daripada serangkaian bobot "penting" yang diwariskan, lebih penting bagi efisiensi dalam model akhir, yang menunjukkan bahwa dalam beberapa kasus pemangkasan dapat berguna sebagai paradigma pencarian arsitektur.

Hasil kami menunjukkan perlunya evaluasi dasar yang lebih hati -hati dalam penelitian di masa depan tentang metode pemangkasan terstruktur.

Gambar 2: Perbedaan antara arsitektur target yang telah ditentukan dan secara otomatis ditemukan, dalam pemangkasan saluran. Rasio pemangkasan X ditentukan pengguna, sedangkan A, B, C, D ditentukan oleh algoritma pemangkasan. Pemangkasan jarang yang tidak terstruktur juga dapat dipandang sebagai otomatis. Temuan kami memiliki implikasi yang berbeda untuk metode yang telah ditentukan sebelumnya dan otomatis: untuk metode yang telah ditentukan, dimungkinkan untuk melewatkan pipa tradisional "pelatihan, pemangkasan, dan penyesuaian" dan secara langsung melatih model yang dipangkas; Untuk metode otomatis, pemangkasan dapat dilihat sebagai bentuk pembelajaran arsitektur.

Kami juga membandingkan dengan "Hipotesis Tiket Lotere" (Frankle & Carbin 2019), dan menemukan bahwa dengan tingkat pembelajaran yang optimal, inisialisasi "tiket pemenang" seperti yang digunakan dalam Frankle & Carbin (2019) tidak membawa peningkatan dibandingkan inisialisasi acak. Untuk detail lebih lanjut silakan merujuk ke makalah kami.

Pelaksanaan

Kami mengevaluasi tujuh metode pemangkasan berikut.

1. Pemangkasan saluran berbasis L1-norm
2. Thinet
3. Rekonstruksi Fitur Berbasis Regresi
4. Melangsingkan jaringan
5. Pemilihan struktur yang jarang
6. Pemangkasan filter lunak
7. Pemangkasan tingkat berat yang tidak terstruktur

Enam yang pertama disusun sementara yang terakhir tidak terstruktur (atau jarang). Untuk CIFAR, Kode kami didasarkan pada Klasifikasi PyTorch dan Siringing Jaringan. Untuk Imagenet, kami menggunakan kode pelatihan Pytorch Imagenet resmi. Instruksi dan model ada di setiap subfolder.

Untuk percobaan pada hipotesis tiket lotere, silakan merujuk ke folder cifar/lotre-tiket.

Lingkungan percobaan kami adalah Python 3.6 & Pytorch 0.3.1.

Kontak

Jangan ragu untuk membahas makalah/kode dengan kami melalui masalah/email!

sunmj15 di gmail.com
Liuzhuangthu di gmail.com

Kutipan

Jika Anda menggunakan kode kami dalam riset Anda, silakan kutip:

 @inproceedings{liu2018rethinking,
  title={Rethinking the Value of Network Pruning},
  author={Liu, Zhuang and Sun, Mingjie and Zhou, Tinghui and Huang, Gao and Darrell, Trevor},
  booktitle={ICLR},
  year={2019}
}