หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

ความรู้การกลั่นแกล้ง

  • การสำรวจการกลั่นความรู้ของ DNN สำหรับโซลูชันฮาร์ดแวร์ที่มีประสิทธิภาพ
  • ผู้แต่ง: Haitong Li
  • เฟรมเวิร์ก: pytorch
  • ชุดข้อมูล: CIFAR-10

คุณสมบัติ

  • กรอบสำหรับการสำรวจการทดลอง "ตื้น" และ "ลึก" การทดลอง (KD)
  • HyperParameters ที่กำหนดโดย "params.json" ในระดับสากล (หลีกเลี่ยงคำสั่ง argparser ยาว)
  • การค้นหา Hyperparameter และการสังเคราะห์ผลลัพธ์ (เป็นตาราง)
  • แถบความคืบหน้าการสนับสนุน Tensorboard และการบันทึก/โหลดจุดตรวจสอบ (utils.py)
  • รุ่นครูที่ผ่านการฝึกอบรมพร้อมให้ดาวน์โหลด

ติดตั้ง

  • โคลน repo 

     git clone https://github.com/peterliht/knowledge-distillation-pytorch.git

  • ติดตั้งการพึ่งพา (รวมถึง pytorch) 

     pip install -r requirements.txt

organizatoin:

  • ./train.py: ทางเข้าหลักสำหรับรถไฟ/การประเมินที่มีหรือไม่มี kd บน cifar-10
  • ./experiments/: ไฟล์ JSON สำหรับการทดสอบแต่ละครั้ง dir สำหรับ hypersearch
  • ./MODEL/: ครูและนักเรียน DNNS, ความรู้การกลั่นความรู้ (KD) การสูญเสียการสูญเสีย, Dataloader

บันทึกสำคัญเกี่ยวกับการใช้งานสำหรับการทดลองของคุณ:

  • ดาวน์โหลดไฟล์ zip สำหรับจุดตรวจสอบรุ่นครูที่ผ่านการฝึกอบรมจาก "Experiments.zip"
  • เพียงแค่ย้ายโฟลเดอร์ย่อยที่ยังไม่ได้ซิปไปยัง 'ความรู้-ความรู้-พร็อตทอร์ช/ทดลอง/' (แทนที่สิ่งที่มีอยู่ถ้าจำเป็น; ติดตามการตั้งชื่อเส้นทางเริ่มต้น)
  • Call Train.py เพื่อเริ่มการฝึกอบรม CNN 5 ชั้นด้วยความรู้มืดของ Resnet-18 หรือการฝึกอบรม Resnet-18 ด้วยแบบจำลองที่ลึกซึ้งยิ่งขึ้น
  • ใช้ search_hyperparams.py สำหรับ hypersearch
  • HyperParameters ถูกกำหนดไว้ในไฟล์ params.json ในระดับสากล อ้างถึงส่วนหัวของ search_hyperparams.py สำหรับรายละเอียด

Train (ชุดข้อมูล: CIFAR-10)

หมายเหตุ: hyperparameters ทั้งหมดสามารถพบและแก้ไขใน 'params.json' ภายใต้ 'model_dir'

-ฝึกอบรม CNN 5 ชั้นด้วยความรู้ที่กลั่นจากโมเดล Resnet-18 ที่ผ่านการฝึกอบรมมาก่อน 

 python train.py --model_dir experiments/cnn_distill

-ฝึกอบรมแบบจำลอง Resnet-18 ด้วยความรู้ที่กลั่นจากครู Resnext-29 ที่ผ่านการฝึกอบรมมาก่อน 

 python train.py --model_dir experiments/resnet18_distill/resnext_teacher

- การค้นหา hyperparameter สำหรับการทดลองที่ระบุ ('parent_dir/params.json') 

 python search_hyperparams.py --parent_dir experiments/cnn_distill_alpha_temp

-ซิงค์ผลลัพธ์ของการทดลอง hypersearch ล่าสุด 

 python synthesize_results.py --parent_dir experiments/cnn_distill_alpha_temp

ผลลัพธ์: การกลั่น "ตื้น" และ "ลึก"

ประเด็นด่วน (รายละเอียดเพิ่มเติมที่จะเพิ่ม):

  • การกลั่นความรู้ให้การทำให้เป็นมาตรฐานสำหรับ DNN แบบตื้นและ DNNs ที่ทันสมัย
  • การมีชุดข้อมูลที่ไม่มีป้ายกำกับหรือบางส่วนจะได้รับประโยชน์จากความรู้ที่มืดมิดของแบบจำลองครู

- การกลั่นความรู้จาก RESNET-18 ถึง 5 ชั้น CNN

แบบอย่าง Dropout = 0.5 ไม่มีการออกกลางคัน
CNN 5 ชั้น 83.51% 84.74%
5 ชั้น CNN w/ resnet18 84.49% 85.69%

- การกลั่นความรู้จากแบบจำลองที่ลึกกว่าไปสู่ resnet-18

แบบอย่าง ทดสอบความแม่นยำ
พื้นฐาน resnet-18 94.175%
+ KD WideresNet-28-10 94.333%
+ KD PRERESNET-110 94.531%
+ kd densenet-100 94.729%
+ kd resnext-29-8 94.788%

การอ้างอิง

H. Li, "สำรวจการกลั่นความรู้ของอวนประสาทลึกสำหรับโซลูชันฮาร์ดแวร์ที่มีประสิทธิภาพ" รายงาน CS230, 2018

Hinton, Geoffrey, Oriol Vinyals และ Jeff Dean "กลั่นความรู้ในเครือข่ายประสาท" arxiv preprint arxiv: 1503.02531 (2015)

Romero, A. , Ballas, N. , Kahou, SE, Chassang, A. , Gatta, C. , & Bengio, Y. (2014) Fitnets: คำแนะนำสำหรับอวนลึกบาง ๆ arxiv preprint arxiv: 1412.6550

https://github.com/cs230-stanford/cs230-stanford.github.io

https://github.com/bearpaw/pytorch-classification

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด