หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

(ทั่วไป) EfficientNets สำหรับ pytorch 

 - - **NOTE** This repo is not being maintained --

โปรดใช้ timm แทน มันรวมถึงคำจำกัดความโมเดลเหล่านี้ทั้งหมด (น้ำหนักที่เข้ากันได้) และอื่น ๆ อีกมากมาย

การใช้งาน 'ทั่วไป' ของ EfficientNet, MixNet, Mobilenetv3 เป็นต้นซึ่งครอบคลุมสถาปัตยกรรมที่มีประสิทธิภาพการคำนวณ/พารามิเตอร์ส่วนใหญ่ที่ได้มาจากลำดับบล็อก Mobilenet V1/V2 รวมถึงที่พบผ่านการค้นหาสถาปัตยกรรมประสาทอัตโนมัติ

ทุกรุ่นถูกนำไปใช้โดยคลาส GenefficientNet หรือ Mobilenetv3 พร้อมคำจำกัดความสถาปัตยกรรมตามสตริงเพื่อกำหนดค่าเค้าโครงบล็อก (แนวคิดจากที่นี่)

มีอะไรใหม่

19 ส.ค. 2020

  • เพิ่มน้ำหนัก Pytorch ที่ได้รับการฝึกฝนอย่างมีประสิทธิภาพ NENT-B3 ที่ได้รับการฝึกฝนด้วยตัวเองด้วย timm (82.1 Top-1)
  • เพิ่ม Pytorch EfficientNet-Lite0 ที่ได้รับการฝึกฝนโดย @HAL-314 (75.5 TOP-1)
  • อัปเดตสคริปต์การส่งออก / ยูทิลิตี้ onnx และ caffe2 เพื่อทำงานกับ pytorch / onnx ล่าสุด
  • เพิ่มสคริปต์การตรวจสอบตามรันไทม์ ONNX
  • การเปิดใช้งาน (ส่วนใหญ่) นำมาซิงค์กับ timm เทียบเท่า

5 เมษายน 2563

  • เพิ่มโมเดล Mobilenet-V2 ที่ผ่านการฝึกอบรมใหม่ซึ่งได้รับการฝึกฝนด้วย H-Params ล่าสุด Rand Augment พวกเขาเปรียบเทียบค่อนข้างดีกับ Efficientnet-lite
    • 3.5m param mobilenet-v2 100 @ 73%
    • 4.5m param mobilenet-v2 110d @ 75%
    • 6.1m param mobilenet-v2 140 @ 76.5%
    • 5.8m param mobilenet-v2 120d @ 77.3%

23 มีนาคม 2563

  • เพิ่มโมเดล EfficientNet-Lite ที่มีน้ำหนักพอร์ตจาก TensorFlow TPU
  • เพิ่ม Pytorch ที่ผ่านการฝึกอบรม Mobilenet-V3 น้ำหนักขนาดใหญ่ที่มี 75.77% Top-1
  • การเปลี่ยนแปลงที่สำคัญ (ถ้าการฝึกอบรมจากศูนย์) - เริ่มต้นการเริ่มต้นที่ดีกว่าการจับคู่ tensorflow INPL, ตั้งค่า fix_group_fanout=False ใน initialize_weight_goog สำหรับพฤติกรรมเก่า

12 ก.พ. 2020

  • เพิ่ม EfficientNet-L2 และ B0-B7 น้ำหนักที่มีเสียงดังพอร์ตจาก TensorFlow TPU
  • พอร์ตใหม่ EfficientNet-B8 (randaugment) น้ำหนักจาก TF TPU สิ่งเหล่านี้แตกต่างจาก B8 advProp, การทำให้เป็นมาตรฐานที่แตกต่างกัน
  • เพิ่ม randaugment pytorch ที่ผ่านการฝึกอบรม EfficientNet-ES (EdgetPu-Small) น้ำหนักด้วย 78.1 Top-1 ฝึกอบรมโดย Andrew Lavin

22 ม.ค. 2020

  • อัปเดตน้ำหนักสำหรับ EfficientNet B0, B2, B3 และ MixNet-XL ด้วยน้ำหนักที่ผ่านการฝึกอบรมล่าสุด ฝึกอบรมด้วย (https://github.com/rwightman/pytorch-image-models)
  • แก้ไขความเข้ากันได้ของ Torchscript สำหรับ pytorch 1.4 เพิ่มการสนับสนุน Torchscript สำหรับ MixtConv2d โดยใช้ ModuleDict
  • โมเดลทดสอบ, Torchscript, ONNX Export ด้วย Pytorch 1.4 - ไม่มีปัญหา

22 พ.ย. 2019

  • ใหม่ Top-1 High! Ported TF EfficientNet AdvProp (https://arxiv.org/abs/1911.09665) น้ำหนักและข้อมูลจำเพาะรุ่น B8 สร้างชุด ap ใหม่ชุดใหม่เนื่องจากพวกเขาใช้การประมวลผลล่วงหน้าที่แตกต่างกัน (Inception Mean/STD) จากน้ำหนัก EfficientNet Base/AA/RA ดั้งเดิม

15 พ.ย. 2019

  • พอร์ตอย่างเป็นทางการ TF Mobilenet-V3 Float32 น้ำหนักขนาดใหญ่/เล็ก/เรียบง่าย
  • การปรับเปลี่ยนโมเดล Mobilenet-V3 และส่วนประกอบเพื่อรองรับการกำหนดค่าเพิ่มเติมที่จำเป็นสำหรับความแตกต่างระหว่าง TF Mobilenet-V3 และ Mine

30 ต.ค. 2019

  • ตอนนี้หลายรุ่นจะทำงานกับ Torch.jit.script, MixNet เป็นข้อยกเว้นที่ใหญ่ที่สุด
  • ปรับปรุงอินเตอร์เฟสสำหรับการเปิดใช้งานโหมด TorchScript หรือ ONNX Export ที่เข้ากันได้ (ผ่านการกำหนดค่า)
  • เพิ่ม JIT ที่ได้รับการปรับปรุง mem- ประสิทธิภาพ swish/miSh autograd.fn นอกเหนือจากหน่วยความจำที่ประหยัด autgrad.fn
  • โรงงานเปิดใช้งานเพื่อเลือกรุ่นที่ดีที่สุดของการเปิดใช้งานตามชื่อหรือแทนที่หนึ่งทั่วโลก
  • เพิ่มตัวช่วยโหลดด่านตรวจสอบก่อนที่จะจัดการการเปลี่ยนแปลงอินพุตและตัวแยกประเภทการเปลี่ยนแปลง

27 ตุลาคม 2019

  • เพิ่ม condConv EfficientNet ตัวแปรพอร์ตจาก https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/condconv
  • เพิ่มน้ำหนัก randaug สำหรับ TF EfficientNet B5 และ B7 จาก https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet
  • นำโมเดล MixNet-XL มาใช้
  • สวิตช์เปิดใช้งานและการรวมทั่วโลกเป็นโมดูล
  • เพิ่มความทรงจำที่มีประสิทธิภาพ swish/mish impl
  • เพิ่มเมธอด as_equential () ในทุกรุ่นและอนุญาตเป็นอาร์กิวเมนต์ใน entrypoint fns
  • ย้าย mobilenetv3 ไปยังไฟล์ของตัวเองเนื่องจากมีหัวที่แตกต่างกัน
  • ลบ Chamnet, Mobilenet V2/V1 เนื่องจากมีแนวโน้มที่จะไม่ถูกใช้ที่นี่

แบบจำลอง

โมเดลที่ใช้งาน ได้แก่ :

  • EfficientNet Noisystudent (B0-B7, L2) (https://arxiv.org/abs/1911.04252)
  • EfficientNet AdvProp (B0-B8) (https://arxiv.org/abs/1911.09665)
  • EfficientNet (B0-B8) (https://arxiv.org/abs/1905.11946)
  • EfficientNet-edGetPu (S, M, L) (https://ai.googleblog.com/2019/08/efficientNet-edgetPu-creating.html)
  • EfficientNet-CondConv (https://arxiv.org/abs/1904.04971)
  • Efficientnet-lite (https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/lite)
  • Mixnet (https://arxiv.org/abs/1907.09595)
  • Mnasnet B1, A1 (Squeeze-excite) และเล็ก (https://arxiv.org/abs/1807.11626)
  • mobilenet-v3 (https://arxiv.org/abs/1905.02244)
  • FBNET-C (https://arxiv.org/abs/1812.03443)
  • Single-Path NAS (https://arxiv.org/abs/1904.02877)

ฉันได้นำไปใช้และฝึกฝนแบบจำลองเหล่านี้ด้วยรหัสที่นี่ที่เก็บนี้มีเพียงรุ่น GenefficientNet การตรวจสอบความถูกต้องและรหัสการส่งออก ONNX/Caffe2 ที่เกี่ยวข้อง

ที่ได้ก่อน

ฉันจัดการเพื่อฝึกอบรมหลายรุ่นเพื่อความถูกต้องใกล้กับหรือสูงกว่าเอกสารต้นกำเนิดและ INDICE อย่างเป็นทางการ รหัสการฝึกอบรมของฉันอยู่ที่นี่: https://github.com/rwightman/pytorch-image-models

แบบอย่าง prec@1 (เอ่อ) prec@5 (err) param#(m) MADDS (M) การปรับขนาดภาพ ปณิธาน พืชผล
Efficientnet_b3 82.240 (17.760) 96.116 (3.884) 12.23 TBD เกี่ยวกับไบบิบ 320 1.0
Efficientnet_b3 82.076 (17.924) 96.020 (3.980) 12.23 TBD เกี่ยวกับไบบิบ 300 0.904
mixnet_xl 81.074 (18.926) 95.282 (4.718) 11.90 TBD เกี่ยวกับไบบิบ 256 1.0
efficientnet_b2 80.612 (19.388) 95.318 (4.682) 9.1 TBD เกี่ยวกับไบบิบ 288 1.0
mixnet_xl 80.476 (19.524) 94.936 (5.064) 11.90 TBD เกี่ยวกับไบบิบ 224 0.875
efficientnet_b2 80.288 (19.712) 95.166 (4.834) 9.1 1003 เกี่ยวกับไบบิบ 260 0.890
mixnet_l 78.976 (21.024 94.184 (5.816) 7.33 TBD เกี่ยวกับไบบิบ 224 0.875
efficientnet_b1 78.692 (21.308) 94.086 (5.914) 7.8 694 เกี่ยวกับไบบิบ 240 0.882
Efficientnet_es 78.066 (21.934) 93.926 (6.074) 5.44 TBD เกี่ยวกับไบบิบ 224 0.875
efficientnet_b0 77.698 (22.302) 93.532 (6.468) 5.3 390 เกี่ยวกับไบบิบ 224 0.875
mobilenetv2_120d 77.294 (22.706 93.502 (6.498) 5.8 TBD เกี่ยวกับไบบิบ 224 0.875
mixnet_m 77.256 (22.744) 93.418 (6.582) 5.01 353 เกี่ยวกับไบบิบ 224 0.875
mobilenetv2_140 76.524 (23.476) 92.990 (7.010) 6.1 TBD เกี่ยวกับไบบิบ 224 0.875
mixnet_s 75.988 (24.012) 92.794 (7.206) 4.13 TBD เกี่ยวกับไบบิบ 224 0.875
mobilenetv3_large_100 75.766 (24.234) 92.542 (7.458) 5.5 TBD เกี่ยวกับไบบิบ 224 0.875
mobilenetv3_rw 75.634 (24.366) 92.708 (7.292) 5.5 219 เกี่ยวกับไบบิบ 224 0.875
efficientnet_lite0 75.472 (24.528) 92.520 (7.480) 4.65 TBD เกี่ยวกับไบบิบ 224 0.875
mnasnet_a1 75.448 (24.552) 92.604 (7.396) 3.9 312 เกี่ยวกับไบบิบ 224 0.875
FBNETC_100 75.124 (24.876) 92.386 (7.614) 5.6 385 bilinear 224 0.875
mobilenetv2_110d 75.052 (24.948) 92.180 (7.820) 4.5 TBD เกี่ยวกับไบบิบ 224 0.875
mnasnet_b1 74.658 (25.342) 92.114 (7.886) 4.4 315 เกี่ยวกับไบบิบ 224 0.875
spnasnet_100 74.084 (25.916) 91.818 (8.182) 4.4 TBD bilinear 224 0.875
mobilenetv2_100 72.978 (27.022) 91.016 (8.984) 3.5 TBD เกี่ยวกับไบบิบ 224 0.875

โมเดลที่ได้รับการฝึกฝนเพิ่มเติมจะมา ...

น้ำหนักพอร์ต

น้ำหนักพอร์ตจากจุดตรวจ Tensorflow สำหรับรุ่น EfficientNet นั้นมีความแม่นยำตรงกับ TensorFlow เมื่อเพิ่มการเพิ่มขึ้นของการเชื่อมต่อแบบเดียวกันและมีการใช้ปัจจัยการเพาะปลูกแบบเดียวกันการปรับขนาดภาพ ฯลฯ

สำคัญ:

  • Tensorflow น้ำหนักพอร์ตสำหรับ EfficientNet AdvProp (AP), EfficientNet EdgetPu, EfficientNet-CondConv, EfficientNet-Lite และโมเดล Mobilenet-V3 ใช้สไตล์การลงทะเบียน (0.5, 0.5, 0.5) สำหรับค่าเฉลี่ยและ std
  • การเปิดใช้งานการประมวลผล tensorflow ล่วงหน้าด้วย --tf-preprocessing ในเวลาตรวจสอบจะปรับปรุงคะแนน 0.1-0.5%ใกล้กับ TF Impl ดั้งเดิมมาก

ในการเรียกใช้การตรวจสอบความถูกต้องสำหรับ tf_efficientNet_B5: python validate.py /path/to/imagenet/validation/ --model tf_efficientnet_b5 -b 64 --img-size 456 --crop-pct 0.934 --interpolation bicubic

ในการเรียกใช้การตรวจสอบความถูกต้องด้วย tf การประมวลผลล่วงหน้าสำหรับ tf_efficientnet_b5: python validate.py /path/to/imagenet/validation/ --model tf_efficientnet_b5 -b 64 --img-size 456 --tf-preprocessing

ในการเรียกใช้การตรวจสอบความถูกต้องสำหรับแบบจำลองที่มีการประมวลผลล่วงหน้าเริ่มต้นเช่น EfficientNet-B8 AdvProp: python validate.py /path/to/imagenet/validation/ --model tf_efficientnet_b8_ap -b 48 --num-gpu 2 --img-size 672 --crop-pct 0.954 --mean 0.5 --std 0.5

แบบอย่าง prec@1 (เอ่อ) prec@5 (err) param # การปรับขนาดภาพ ขนาดภาพ พืชผล
tf_efficientnet_l2_ns *tfp 88.352 (11.648) 98.652 (1.348) 480 เกี่ยวกับไบบิบ 800 N/A
tf_efficientnet_l2_ns TBD TBD 480 เกี่ยวกับไบบิบ 800 0.961
tf_efficientnet_l2_ns_475 88.234 (11.766) 98.546 (1.454) 480 เกี่ยวกับไบบิบ 475 0.936
tf_efficientnet_l2_ns_475 *tfp 88.172 (11.828) 98.566 (1.434) 480 เกี่ยวกับไบบิบ 475 N/A
tf_efficientnet_b7_ns *tfp 86.844 (13.156) 98.084 (1.916) 66.35 เกี่ยวกับไบบิบ 600 N/A
tf_efficientnet_b7_ns 86.840 (13.160) 98.094 (1.906) 66.35 เกี่ยวกับไบบิบ 600 N/A
tf_efficientnet_b6_ns 86.452 (13.548) 97.882 (2.118) 43.04 เกี่ยวกับไบบิบ 528 N/A
tf_efficientnet_b6_ns *tfp 86.444 (13.556) 97.880 (2.120) 43.04 เกี่ยวกับไบบิบ 528 N/A
tf_efficientnet_b5_ns *tfp 86.064 (13.936) 97.746 (2.254) 30.39 เกี่ยวกับไบบิบ 456 N/A
tf_efficientnet_b5_ns 86.088 (13.912) 97.752 (2.248) 30.39 เกี่ยวกับไบบิบ 456 N/A
tf_efficientnet_b8_ap *tfp 85.436 (14.564) 97.272 (2.728) 87.4 เกี่ยวกับไบบิบ 672 N/A
tf_efficientnet_b8 *tfp 85.384 (14.616) 97.394 (2.606) 87.4 เกี่ยวกับไบบิบ 672 N/A
tf_efficientnet_b8 85.370 (14.630) 97.390 (2.610) 87.4 เกี่ยวกับไบบิบ 672 0.954
tf_efficientnet_b8_ap 85.368 (14.632) 97.294 (2.706) 87.4 เกี่ยวกับไบบิบ 672 0.954
tf_efficientnet_b4_ns *tfp 85.298 (14.702) 97.504 (2.496) 19.34 เกี่ยวกับไบบิบ 380 N/A
tf_efficientnet_b4_ns 85.162 (14.838) 97.470 (2.530) 19.34 เกี่ยวกับไบบิบ 380 0.922
tf_efficientnet_b7_ap *tfp 85.154 (14.846) 97.244 (2.756) 66.35 เกี่ยวกับไบบิบ 600 N/A
tf_efficientnet_b7_ap 85.118 (14.882) 97.252 (2.748) 66.35 เกี่ยวกับไบบิบ 600 0.949
tf_efficientnet_b7 *tfp 84.940 (15.060) 97.214 (2.786) 66.35 เกี่ยวกับไบบิบ 600 N/A
tf_efficientnet_b7 84.932 (15.068) 97.208 (2.792) 66.35 เกี่ยวกับไบบิบ 600 0.949
tf_efficientnet_b6_ap 84.786 (15.214) 97.138 (2.862) 43.04 เกี่ยวกับไบบิบ 528 0.942
tf_efficientnet_b6_ap *tfp 84.760 (15.240) 97.124 (2.876) 43.04 เกี่ยวกับไบบิบ 528 N/A
tf_efficientnet_b5_ap *tfp 84.276 (15.724) 96.932 (3.068) 30.39 เกี่ยวกับไบบิบ 456 N/A
tf_efficientnet_b5_ap 84.254 (15.746) 96.976 (3.024) 30.39 เกี่ยวกับไบบิบ 456 0.934
tf_efficientnet_b6 *tfp 84.140 (15.860) 96.852 (3.148) 43.04 เกี่ยวกับไบบิบ 528 N/A
tf_efficientnet_b6 84.110 (15.890) 96.886 (3.114) 43.04 เกี่ยวกับไบบิบ 528 0.942
tf_efficientnet_b3_ns *tfp 84.054 (15.946) 96.918 (3.082) 12.23 เกี่ยวกับไบบิบ 300 N/A
tf_efficientnet_b3_ns 84.048 (15.952) 96.910 (3.090) 12.23 เกี่ยวกับไบบิบ 300 .904
tf_efficientnet_b5 *tfp 83.822 (16.178) 96.756 (3.244) 30.39 เกี่ยวกับไบบิบ 456 N/A
tf_efficientnet_b5 83.812 (16.188) 96.748 (3.252) 30.39 เกี่ยวกับไบบิบ 456 0.934
tf_efficientnet_b4_ap *tfp 83.278 (16.722) 96.376 (3.624) 19.34 เกี่ยวกับไบบิบ 380 N/A
tf_efficientnet_b4_ap 83.248 (16.752) 96.388 (3.612) 19.34 เกี่ยวกับไบบิบ 380 0.922
tf_efficientnet_b4 83.022 (16.978) 96.300 (3.700) 19.34 เกี่ยวกับไบบิบ 380 0.922
tf_efficientnet_b4 *tfp 82.948 (17.052) 96.308 (3.692) 19.34 เกี่ยวกับไบบิบ 380 N/A
tf_efficientnet_b2_ns *tfp 82.436 (17.564) 96.268 (3.732) 9.11 เกี่ยวกับไบบิบ 260 N/A
tf_efficientnet_b2_ns 82.380 (17.620) 96.248 (3.752) 9.11 เกี่ยวกับไบบิบ 260 0.89
tf_efficientnet_b3_ap *tfp 81.882 (18.118) 95.662 (4.338) 12.23 เกี่ยวกับไบบิบ 300 N/A
tf_efficientnet_b3_ap 81.828 (18.172) 95.624 (4.376) 12.23 เกี่ยวกับไบบิบ 300 0.904
tf_efficientnet_b3 81.636 (18.364) 95.718 (4.282) 12.23 เกี่ยวกับไบบิบ 300 0.904
tf_efficientnet_b3 *tfp 81.576 (18.424) 95.662 (4.338) 12.23 เกี่ยวกับไบบิบ 300 N/A
tf_efficientnet_lite4 81.528 (18.472) 95.668 (4.332) 13.00 น bilinear 380 0.92
tf_efficientnet_b1_ns *tfp 81.514 (18.486) 95.776 (4.224) 7.79 เกี่ยวกับไบบิบ 240 N/A
tf_efficientnet_lite4 *tfp 81.502 (18.498) 95.676 (4.324) 13.00 น bilinear 380 N/A
tf_efficientnet_b1_ns 81.388 (18.612) 95.738 (4.262) 7.79 เกี่ยวกับไบบิบ 240 0.88
tf_efficientnet_el 80.534 (19.466) 95.190 (4.810) 10.59 เกี่ยวกับไบบิบ 300 0.904
tf_efficientnet_el *tfp 80.476 (19.524) 95.200 (4.800) 10.59 เกี่ยวกับไบบิบ 300 N/A
tf_efficientnet_b2_ap *tfp 80.420 (19.580) 95.040 (4.960) 9.11 เกี่ยวกับไบบิบ 260 N/A
tf_efficientnet_b2_ap 80.306 (19.694) 95.028 (4.972) 9.11 เกี่ยวกับไบบิบ 260 0.890
tf_efficientnet_b2 *tfp 80.188 (19.812) 94.974 (5.026) 9.11 เกี่ยวกับไบบิบ 260 N/A
tf_efficientnet_b2 80.086 (19.914) 94.908 (5.092) 9.11 เกี่ยวกับไบบิบ 260 0.890
tf_efficientnet_lite3 79.812 (20.188) 94.914 (5.086) 8.20 bilinear 300 0.904
tf_efficientnet_lite3 *tfp 79.734 (20.266) 94.838 (5.162) 8.20 bilinear 300 N/A
tf_efficientnet_b1_ap *tfp 79.532 (20.468) 94.378 (5.622) 7.79 เกี่ยวกับไบบิบ 240 N/A
tf_efficientnet_cc_b1_8e *tfp 79.464 (20.536) 94.492 (5.508) 39.7 เกี่ยวกับไบบิบ 240 0.88
tf_efficientnet_cc_b1_8e 79.298 (20.702) 94.364 (5.636) 39.7 เกี่ยวกับไบบิบ 240 0.88
tf_efficientnet_b1_ap 79.278 (20.722) 94.308 (5.692) 7.79 เกี่ยวกับไบบิบ 240 0.88
tf_efficientnet_b1 *tfp 79.172 (20.828) 94.450 (5.550) 7.79 เกี่ยวกับไบบิบ 240 N/A
tf_efficientnet_em *tfp 78.958 (21.042) 94.458 (5.542) 6.90 เกี่ยวกับไบบิบ 240 N/A
tf_efficientnet_b0_ns *tfp 78.806 (21.194) 94.496 (5.504) 5.29 เกี่ยวกับไบบิบ 224 N/A
tf_mixnet_l *tfp 78.846 (21.154) 94.212 (5.788) 7.33 bilinear 224 N/A
tf_efficientnet_b1 78.826 (21.174) 94.198 (5.802) 7.79 เกี่ยวกับไบบิบ 240 0.88
tf_mixnet_l 78.770 (21.230) 94.004 (5.996) 7.33 เกี่ยวกับไบบิบ 224 0.875
tf_efficientnet_em 78.742 (21.258) 94.332 (5.668) 6.90 เกี่ยวกับไบบิบ 240 0.875
tf_efficientnet_b0_ns 78.658 (21.342) 94.376 (5.624) 5.29 เกี่ยวกับไบบิบ 224 0.875
tf_efficientnet_cc_b0_8e *tfp 78.314 (21.686) 93.790 (6.210) 24.0 เกี่ยวกับไบบิบ 224 0.875
tf_efficientnet_cc_b0_8e 77.908 (22.092) 93.656 (6.344) 24.0 เกี่ยวกับไบบิบ 224 0.875
tf_efficientnet_cc_b0_4e *tfp 77.746 (22.254) 93.552 (6.448) 13.3 เกี่ยวกับไบบิบ 224 0.875
tf_efficientnet_cc_b0_4e 77.304 (22.696) 93.332 (6.668) 13.3 เกี่ยวกับไบบิบ 224 0.875
tf_efficientnet_es *tfp 77.616 (22.384) 93.750 (6.250) 5.44 เกี่ยวกับไบบิบ 224 N/A
tf_efficientnet_lite2 *tfp 77.544 (22.456) 93.800 (6.200) 6.09 bilinear 260 N/A
tf_efficientnet_lite2 77.460 (22.540) 93.746 (6.254) 6.09 เกี่ยวกับไบบิบ 260 0.89
tf_efficientnet_b0_ap *tfp 77.514 (22.486) 93.576 (6.424) 5.29 เกี่ยวกับไบบิบ 224 N/A
tf_efficientnet_es 77.264 (22.736) 93.600 (6.400) 5.44 เกี่ยวกับไบบิบ 224 N/A
tf_efficientnet_b0 *tfp 77.258 (22.742) 93.478 (6.522) 5.29 เกี่ยวกับไบบิบ 224 N/A
tf_efficientnet_b0_ap 77.084 (22.916) 93.254 (6.746) 5.29 เกี่ยวกับไบบิบ 224 0.875
tf_mixnet_m *tfp 77.072 (22.928) 93.368 (6.632) 5.01 bilinear 224 N/A
tf_mixnet_m 76.950 (23.050) 93.156 (6.844) 5.01 เกี่ยวกับไบบิบ 224 0.875
tf_efficientnet_b0 76.848 (23.152) 93.228 (6.772) 5.29 เกี่ยวกับไบบิบ 224 0.875
tf_efficientnet_lite1 *tfp 76.764 (23.236) 93.326 (6.674) 5.42 bilinear 240 N/A
tf_efficientnet_lite1 76.638 (23.362) 93.232 (6.768) 5.42 เกี่ยวกับไบบิบ 240 0.882
tf_mixnet_s *tfp 75.800 (24.200) 92.788 (7.212) 4.13 bilinear 224 N/A
tf_mobilenetv3_large_100 *tfp 75.768 (24.232) 92.710 (7.290) 5.48 bilinear 224 N/A
tf_mixnet_s 75.648 (24.352) 92.636 (7.364) 4.13 เกี่ยวกับไบบิบ 224 0.875
TF_MOBILENETV3_LARGE_100 75.516 (24.484) 92.600 (7.400) 5.48 bilinear 224 0.875
tf_efficientnet_lite0 *tfp 75.074 (24.926) 92.314 (7.686) 4.65 bilinear 224 N/A
tf_efficientnet_lite0 74.842 (25.158) 92.170 (7.830) 4.65 เกี่ยวกับไบบิบ 224 0.875
tf_mobilenetv3_large_075 *tfp 73.730 (26.270) 91.616 (8.384) 3.99 bilinear 224 N/A
tf_mobilenetv3_large_075 73.442 (26.558) 91.352 (8.648) 3.99 bilinear 224 0.875
TF_MOBILENETV3_LARGE_MINIMAL_100 *TFP 72.678 (27.322) 90.860 (9.140) 3.92 bilinear 224 N/A
TF_MOBILENETV3_LARGE_MINIMAL_100 72.244 (27.756) 90.636 (9.364) 3.92 bilinear 224 0.875
TF_MOBILENETV3_SMALL_100 *TFP 67.918 (32.082) 87.958 (12.042 2.54 bilinear 224 N/A
TF_MOBILENETV3_SMALL_100 67.918 (32.082) 87.662 (12.338) 2.54 bilinear 224 0.875
TF_MOBILENETV3_SMALL_075 *TFP 66.142 (33.858) 86.498 (13.502) 2.04 bilinear 224 N/A
TF_MOBILENETV3_SMALL_075 65.718 (34.282) 86.136 (13.864) 2.04 bilinear 224 0.875
TF_MOBILENETV3_SMALL_MINIMAL_100 *TFP 63.378 (36.622) 84.802 (15.198) 2.04 bilinear 224 N/A
TF_MOBILENETV3_SMALL_MINIMAL_100 62.898 (37.102) 84.230 (15.770) 2.04 bilinear 224 0.875

*โมเดล TFP ตรวจสอบความถูกต้องด้วย tf-preprocessing

Google TF และ TFLITE น้ำหนักพอร์ตจากที่เก็บ TensorFlow อย่างเป็นทางการ

  • https://github.com/tensorflow/tpu/tree/master/models/official/mnasnet
  • https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet
  • https://github.com/tensorflow/models/tree/master/research/slim/nets/mobilenet

การใช้งาน

สิ่งแวดล้อม

การพัฒนาและการทดสอบทั้งหมดได้ทำในสภาพแวดล้อม Conda Python 3 ในระบบ Linux X86-64 โดยเฉพาะ Python 3.6.x, 3.7.x, 3.8.x

ผู้ใช้รายงานว่าการติดตั้ง Python 3 Anaconda ใน Windows Works ฉันยังไม่ได้ยืนยันตัวเอง

รุ่น Pytorch 1.4, 1.5, 1.6 ได้รับการทดสอบด้วยรหัสนี้

ฉันได้พยายามที่จะทำให้การพึ่งพาน้อยที่สุดการตั้งค่าเป็นไปตามคำแนะนำการติดตั้งเริ่มต้นของ pytorch สำหรับ conda: 

 conda create -n torch-env
conda activate torch-env
conda install -c pytorch pytorch torchvision cudatoolkit=10.2

ฮับ Pytorch

รุ่นสามารถเข้าถึงได้ผ่าน Pytorch Hub API 

 >>> torch.hub.list('rwightman/gen-efficientnet-pytorch')
['efficientnet_b0', ...]
>>> model = torch.hub.load('rwightman/gen-efficientnet-pytorch', 'efficientnet_b0', pretrained=True)
>>> model.eval()
>>> output = model(torch.randn(1,3,224,224))

ปิ๊ก

แพ็คเกจนี้สามารถติดตั้งผ่าน PIP

ติดตั้ง (หลัง conda env/ติดตั้ง): 

 pip install geffnet

การใช้ประเมิน: 

 >>> import geffnet
>>> m = geffnet.create_model('mobilenetv3_large_100', pretrained=True)
>>> m.eval()

การใช้รถไฟ: 

 >>> import geffnet
>>> # models can also be created by using the entrypoint directly
>>> m = geffnet.efficientnet_b2(pretrained=True, drop_rate=0.25, drop_connect_rate=0.2)
>>> m.train()

สร้างในคอนเทนเนอร์ nn.equential สำหรับ fast.ai ฯลฯ : 

 >>> import geffnet
>>> m = geffnet.mixnet_l(pretrained=True, drop_rate=0.25, drop_connect_rate=0.2, as_sequential=True)

การส่งออก

สคริปต์รวมอยู่ใน

  • รุ่นส่งออกไปยัง ONNX ( onnx_export.py )
  • ที่ปรับให้เหมาะสมกับกราฟ ONNX ( onnx_optimize.py หรือ onnx_validate.py w/ --onnx-output-opt arg)
  • ตรวจสอบด้วย onnx runtime ( onnx_validate.py )
  • แปลงโมเดล ONNX เป็น Caffe2 ( onnx_to_caffe.py )
  • ตรวจสอบความถูกต้องใน caffe2 ( caffe2_validate.py )
  • เกณฑ์มาตรฐานใน caffe2 w/ flops, พารามิเตอร์เอาท์พุท ( caffe2_benchmark.py )

ตัวอย่างเช่นในการส่งออกโมเดล Mobilenet-V3 Pretraned จากนั้นเรียกใช้การตรวจสอบ Imagenet: 

 python onnx_export.py --model mobilenetv3_large_100 ./mobilenetv3_100.onnx
python onnx_validate.py /imagenet/validation/ --onnx-input ./mobilenetv3_100.onnx

สคริปต์เหล่านี้ได้รับการทดสอบว่าทำงานเป็น Pytorch 1.6 และ ONNX 1.7 W/ ONNX Runtime 1.4 ตอนนี้การส่งออกที่เข้ากันได้ของ Caffe2 ต้องการ ARGs เพิ่มเติมที่กล่าวถึงในสคริปต์การส่งออก (ไม่จำเป็นต้องใช้ในเวอร์ชันก่อนหน้า)

บันทึกการส่งออก

  1. น้ำหนักพอร์ต TF ที่มีการเปิดใช้งานการเปิดใช้งานแบบ 'เดียวกัน' ไม่สามารถส่งออกไปยัง ONNX ได้เว้นแต่ว่า _EXPORTABLE Flag ใน config.py จะถูกตั้งค่าเป็น TRUE ใช้ config.set_exportable(True) เช่นเดียวกับในสคริปต์ onnx_export.py
  2. รุ่น TF พอร์ตที่มีช่องว่างภายใน 'เดียวกัน' จะมีช่องว่างภายในที่เวลาส่งออกไปยังความละเอียดที่ใช้สำหรับการส่งออก แม้ว่าการรองรับแบบไดนามิกจะได้รับการสนับสนุนใน opset> = 11 แต่ฉันไม่สามารถทำงานได้
  3. สิ่งอำนวยความสะดวก ONNX Optimize ไม่ทำงานได้อย่างน่าเชื่อถือใน Pytorch 1.6 / ONNX 1.7 โชคดีที่การอนุมานจาก OnnxRuntime ทำงานได้ดีมากในขณะนี้และรวมถึงการเพิ่มประสิทธิภาพการบิน
  4. ONNX / Caffe2 Export / Import มักจะหยุดพักบ่อยครั้งด้วยรุ่น Pytorch และรุ่น ONNX ที่แตกต่างกัน โปรดตรวจสอบตัวติดตามปัญหาที่เกี่ยวข้องก่อนยื่นปัญหาที่นี่
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด