rethinking network pruning

ทบทวนคุณค่าของการตัดแต่งเครือข่าย

ที่เก็บนี้มีรหัสสำหรับการสร้างผลลัพธ์ซ้ำและโมเดล Imagenet ที่ผ่านการฝึกอบรมในกระดาษต่อไปนี้:

ทบทวนมูลค่าของการตัดแต่งกิ่งเครือข่าย [arxiv] [OpenReview]

Zhuang Liu*, Mingjie Sun*, Tinghui Zhou, Gao Huang, Trevor Darrell (*การมีส่วนร่วมที่เท่าเทียมกัน)

ICLR 2019 นอกจากนี้ยังได้รับรางวัล Best Paper ที่ NIPS 2018 Workshop เกี่ยวกับเครือข่ายประสาทลึกขนาดกะทัดรัด

การใช้วิธีการตัดแต่งกิ่งหลายวิธีที่มีอยู่ใน repo นี้สามารถนำมาใช้เพื่อวัตถุประสงค์ในการวิจัยอื่น ๆ ได้อย่างง่ายดาย

สรุปกระดาษ

รูปที่ 1: ท่อตัดแต่งเครือข่ายสามขั้นตอนทั่วไป

กระดาษของเราแสดงให้เห็นว่าสำหรับการตัดแต่งกิ่ง ที่มีโครงสร้าง การฝึกอบรมแบบจำลองการตัดแต่งตั้งแต่เริ่มต้นสามารถบรรลุความแม่นยำในระดับเทียบเคียงหรือสูงกว่าแบบจำลองที่ได้จาก "การฝึกอบรมการตัดแต่งกิ่งและการปรับแต่ง" (รูปที่ 1) โดยทั่วไป เราสรุปได้ว่าสำหรับวิธีการตัดแต่งกิ่งเหล่านั้น:

1. การฝึกอบรมแบบจำลองขนาดใหญ่ที่มีพารามิเตอร์ไม่จำเป็นต้องได้รับแบบจำลองขั้นสุดท้ายที่มีประสิทธิภาพ
2. การเรียนรู้น้ำหนัก“ สำคัญ” ของแบบจำลองขนาดใหญ่มักจะไม่เป็นประโยชน์สำหรับรุ่นตัดแต่งขนาดเล็ก
3. สถาปัตยกรรมที่ถูกตัดแต่งเองแทนที่จะเป็นชุดของน้ำหนัก "สำคัญ" ที่สืบทอดมานั้นมีความสำคัญต่อประสิทธิภาพในรูปแบบสุดท้ายซึ่งแสดงให้เห็นว่าในบางกรณีการตัดแต่งกิ่งนั้นมีประโยชน์ในฐานะกระบวนทัศน์การค้นหาสถาปัตยกรรม

ผลลัพธ์ของเราแนะนำความจำเป็นในการประเมินพื้นฐานอย่างรอบคอบมากขึ้นในการวิจัยในอนาคตเกี่ยวกับวิธีการตัดแต่งกิ่งที่มีโครงสร้าง

รูปที่ 2: ความแตกต่างระหว่างสถาปัตยกรรมเป้าหมายที่กำหนดไว้ล่วงหน้าและค้นพบโดยอัตโนมัติในการตัดแต่งช่อง อัตราส่วนการตัดแต่งกิ่ง X เป็นผู้ใช้ที่ระบุไว้ในขณะที่ A, B, C, D ถูกกำหนดโดยอัลกอริทึมการตัดแต่งกิ่ง การตัดแต่งกิ่งแบบเบาบางที่ไม่มีโครงสร้างสามารถดูได้โดยอัตโนมัติ การค้นพบของเรามีความหมายที่แตกต่างกันสำหรับวิธีการที่กำหนดไว้ล่วงหน้าและอัตโนมัติ: สำหรับวิธีการที่กำหนดไว้ล่วงหน้าเป็นไปได้ที่จะข้ามการฝึกอบรมแบบดั้งเดิม "การตัดแต่งและปรับแต่ง" ไปป์ไลน์และฝึกอบรมแบบจำลองการตัดแต่งโดยตรง สำหรับวิธีการอัตโนมัติการตัดแต่งกิ่งสามารถมองเห็นได้ว่าเป็นรูปแบบของการเรียนรู้สถาปัตยกรรม

นอกจากนี้เรายังเปรียบเทียบกับ "สมมติฐานตั๋วลอตเตอรี" (Frankle & Carbin 2019) และพบว่าด้วยอัตราการเรียนรู้ที่ดีที่สุดการเริ่มต้น "การชนะตั๋ว" ที่ใช้ใน Frankle & Carbin (2019) ไม่ได้นำการปรับปรุงการเริ่มต้นแบบสุ่ม สำหรับรายละเอียดเพิ่มเติมโปรดดูเอกสารของเรา

การดำเนินการ

เราประเมินวิธีการตัดแต่งกิ่งเจ็ดวิธีต่อไปนี้

1. การตัดแต่งช่องทาง L1-Norm
2. บาง ๆ
3. การสร้างคุณลักษณะที่อิงกับการถดถอย
4. เครือข่ายลดน้ำหนัก
5. การเลือกโครงสร้างกระจัดกระจาย
6. การตัดแต่งตัวกรองนุ่ม
7. การตัดแต่งกิ่งระดับน้ำหนักที่ไม่มีโครงสร้าง

หกแรกมีโครงสร้างในขณะที่อันสุดท้ายไม่มีโครงสร้าง (หรือกระจัดกระจาย) สำหรับ CIFAR รหัสของเราจะขึ้นอยู่กับการจำแนกประเภท pytorch และการตัดเครือข่าย สำหรับ Imagenet เราใช้รหัสการฝึกอบรม Pytorch Imagenet อย่างเป็นทางการ คำแนะนำและโมเดลอยู่ในแต่ละโฟลเดอร์ย่อย

สำหรับการทดลองเกี่ยวกับสมมติฐานตั๋วลอตเตอรีโปรดดูที่โฟลเดอร์ CIFAR/Ticket ลอตเตอรี

สภาพแวดล้อมการทดลองของเราคือ Python 3.6 & Pytorch 0.3.1

ติดต่อ

อย่าลังเลที่จะหารือเกี่ยวกับเอกสาร/รหัสกับเราผ่านปัญหา/อีเมล!

sunmj15 ที่ gmail.com
liuzhuangthu ที่ gmail.com

การอ้างอิง

หากคุณใช้รหัสของเราในการวิจัยของคุณโปรดอ้างอิง:

 @inproceedings{liu2018rethinking,
  title={Rethinking the Value of Network Pruning},
  author={Liu, Zhuang and Sun, Mingjie and Zhou, Tinghui and Huang, Gao and Darrell, Trevor},
  booktitle={ICLR},
  year={2019}
}