rethinking network pruning

إعادة التفكير في قيمة تقليم الشبكة

يحتوي هذا المستودع على رمز إعادة إنتاج النتائج ، ونماذج ImageNet المدربة ، في الورقة التالية:

إعادة التفكير في قيمة تقليم الشبكة. [Arxiv] [OpenReview]

Zhuang Liu*، Mingjie Sun*، Tinghui Zhou ، Gao Huang ، Trevor Darrell (*مساهمة متساوية).

ICLR 2019. أيضًا أفضل جائزة الورق في ورشة عمل NIPS 2018 حول الشبكات العصبية العميقة المدمجة.

يمكن أيضًا استخدام العديد من تطبيقات طرق التقليم الواردة في هذا الريبو بسهولة لأغراض البحث الأخرى.

ملخص الورق

الشكل 1: خط أنابيب تقليم شبكة متزايد من ثلاث مراحل.

تُظهر ورقتنا أنه بالنسبة للتشذيب المهيكلة ، يمكن أن يحقق النموذج المشذب من نقطة الصفر دائمًا مستوى دقة مماثل أو أعلى من النموذج الذي تم الحصول عليه من الإجراء النموذجي "التدريبي والتشذيب والصقل" (الشكل 1) . نستنتج أنه بالنسبة لهذه الأساليب التقليدية:

1. غالبًا ما يكون تدريب نموذج كبير ومفرط المعلمة ضروريًا للحصول على نموذج نهائي فعال.
2. الأوزان "المهمة" المستفادة للنموذج الكبير ليست مفيدة عادة للنموذج الصغير المتقلب.
3. تعد الهندسة المعمارية نفسها ، بدلاً من مجموعة من الأوزان "المهمة" الموروثة ، أكثر أهمية بالنسبة للكفاءة في النموذج النهائي ، مما يشير إلى أن التقليم في بعض الحالات يمكن أن يكون مفيدًا كنموذج للبحث عن الهندسة المعمارية.

تشير نتائجنا إلى الحاجة إلى إجراء تقييمات أساسية أكثر دقة في الأبحاث المستقبلية حول طرق التقليم المنظمة.

الشكل 2: الفرق بين الهياكل المستهدفة المحددة مسبقًا والاكتشاف تلقائيًا ، في تقليم القناة. نسبة التقليم X محددة للمستخدم ، بينما يتم تحديد A ، B ، C ، D بواسطة خوارزمية التقليم. يمكن أيضًا النظر إلى التقليم المتناثر غير المهيكلة على أنه تلقائي. إن اكتشافنا له آثار مختلفة على الطرق المحددة مسبقًا والتلقائي: بالنسبة للطريقة المحددة مسبقًا ، من الممكن تخطي خط الأنابيب التقليدي "التدريبي والتقليم والضبط" وتدريب النموذج المشذب مباشرة ؛ بالنسبة للطرق التلقائية ، يمكن اعتبار التقليم شكلاً من أشكال تعلم الهندسة المعمارية.

نقارن أيضًا مع "فرضية تذاكر اليانصيب" (Frankle & Carbin 2019) ، ووجدنا أنه مع معدل التعلم الأمثل ، فإن التهيئة "التذكرة الفائزة" المستخدمة في Frankle & Carbin (2019) لا تجلب تحسناً على التهيئة العشوائية. لمزيد من التفاصيل ، يرجى الرجوع إلى ورقتنا.

تطبيق

قمنا بتقييم أساليب التقليم السبعة التالية.

1. تشذيب القناة القائمة على قناة L1
2. رقيقة
3. إعادة بناء الميزات القائمة على الانحدار
4. تخسيس الشبكة
5. اختيار الهيكل المتناثر
6. مرشح ناعم التقليم
7. تقليم على مستوى الوزن غير المهيكلة

يتم تنظيم الستة الأولى في حين أن آخر واحد غير منظم (أو متفرق). بالنسبة لـ CIFAR ، يعتمد الكود الخاص بنا على تصنيف Pytorch وملعاة الشبكة. بالنسبة إلى ImageNet ، نستخدم رمز تدريب Pytorch ImageNet الرسمي. التعليمات والنماذج موجودة في كل مجلد فرعي.

للتجارب على فرضية تذكرة اليانصيب ، يرجى الرجوع إلى المجلد cifar/ticket.

بيئة التجربة لدينا هي Python 3.6 و Pytorch 0.3.1.

اتصال

لا تتردد في مناقشة الأوراق/الكود معنا من خلال القضايا/رسائل البريد الإلكتروني!

SUNMJ15 في gmail.com
Liuzhuangthu في gmail.com

اقتباس

إذا كنت تستخدم التعليمات البرمجية الخاصة بنا في بحثك ، فيرجى الاستشهاد:

 @inproceedings{liu2018rethinking,
  title={Rethinking the Value of Network Pruning},
  author={Liu, Zhuang and Sun, Mingjie and Zhou, Tinghui and Huang, Gao and Darrell, Trevor},
  booktitle={ICLR},
  year={2019}
}