首页>编程相关>Python
下载

Pytorch的（通用）效率网络

 - - **NOTE** This repo is not being maintained --

请改用timm 。它包括所有这些模型定义（兼容权重）等等。

涵盖了从Mobilenet V1/V2块序列得出的大多数计算/参数有效体系结构的“ EfficityNet，MixNet，MobilenetV3等”的“通用”实现，包括通过自动化神经体系结构搜索找到的架构。

所有模型均由GenefficityNet或Mobilenetv3类实现，具有基于字符串的体系结构定义以配置块布局（从此处进行想法）

什么是新的

2020年8月19日

  • 添加由timm （82.1 Top-1）我自己训练的更新的Pytorch训练有素的EdgitionNet-B3权重
  • 添加 @HAL-314贡献的pytorch训练有素的效率网络lite0（75.5 top-1）
  • 更新onnx和caffe2导出 /实用脚本以与最新的pytorch / onnx一起使用
  • 添加了基于ONNX运行时的验证脚本
  • 激活（主要是）与timm当量同步

2020年4月5日

  • 添加一些新训练的Mobilenet-V2车型，该模型训练了最新的H-Params Rand Augment。它们与LigationNet-Lite相当有利
    • 3.5m param mobilenet-v2 100 @ 73％
    • 4.5m param mobilenet-v2 110d @ 75％
    • 6.1m param mobilenet-v2 140 @ 76.5％
    • 58M PARAM MOBILENET-V2 120D @ 77.3％

2020年3月23日

  • 添加来自Tensorflow TPU的w/ wterge w/ weights型模型
  • 添加pytorch训练有素的Mobilenet-V3大量重量和75.77％Top-1
  • 重要的更改（如果从头开始训练） - 重量初始变为更好地匹配TensorFlow Ingl，set fix_group_fanout=False initialize_weight_goog for Old行为

2020年2月12日

  • 添加从TensorFlow TPU移植的EfficityNet-L2和B0-B7噪声重量
  • 来自TF TPU的端口新ExtricNet-B8（randaugment）权重，这些权重与B8 Advprop不同的输入归一化不同。
  • 添加pytorch训练有素的效率网络（Edgetpu-small）重量为78.1 top-1。由安德鲁·拉文（Andrew Lavin）训练

2020年1月22日

  • 使用最新的Randaugmaugmaugmaugmaugmaugment训练的权重更新EfficityNet B0，B2，B3和MixNet-XL的权重。接受（https://github.com/rwightman/pytorch-image-models）培训
  • 修复Pytorch 1.4的Torchscript兼容性，使用ModulEdict添加对混合Conconv2d的火有关支持
  • 测试型号，火炬词，pytorch 1.4的ONNX导出 - 没有问题

2019年11月22日

  • 新的Top-1高！移植官方的TF Extricnet Advprop（https://arxiv.org/abs/1911.09665）权和B8模型规格。创建了一组新的ap模型，因为它们使用了原始EdgitionNet基础/AA/RA权重的不同预处理（Inception Menaption/STD）。

2019年11月15日

  • 移植官方的TF Mobilenet-V3 Float32大/小/简约重量
  • 修改Mobilenet-V3模型和组件，以支持TF Mobilenet-V3和Mine之间差异所需的其他配置

2019年10月30日

  • 现在，许多型号将与Torch.jit.script一起使用，MixNet是最大的例外
  • 改进的接口，用于启用火有关兼容兼容模式（通过config）
  • 添加JIT优化的MEM-MEM-SWISH/MISH AUTOGRAD.FN，除了记忆效率高效的Autgrad.fn
  • 激活厂选择最佳版本的激活版本或覆盖全球一个
  • 添加验证的检查点负载辅助器，以处理输入conv和分类器更改

2019年10月27日

  • 添加从https://github.com/tensorflow/tpu/tree/master/master/models/models/model/model/models/fickicial/efficitynet/condconv添加condconv extricnet变体。
  • 从https://github.com/tensorflow/tpu/tree/master/master/models/models/models/models/efficial/effficitynet添加tf EdgitionNet B5和B7的randaug重量
  • 从我的pytorch-image-models代码库中介绍MixNet-XL模型和深度缩放算法
  • 切换激活和全局汇总到模块
  • 添加记忆效率的swish/mish inmp
  • 在所有模型中添加as_sequention（）方法，并允许在入口点FNS中作为参数
  • 将MobilenetV3移至自己的文件中，因为它有不同的头部
  • 删除Chamnet，Mobilenet V2/V1，因为它们可能永远不会在这里使用

型号

实施模型包括：

  • EDIDENTNET NOISYSYSTUDENT（B0-B7，L2）（https://arxiv.org/abs/1911.04252）
  • EdgitionNet Advprop（B0-B8）（https://arxiv.org/abs/1911.09665）
  • EdricityNet（B0-B8）（https://arxiv.org/abs/1905.11946）
  • EdgitionNet-edgetpu（s，m，l）（https://ai.googleblog.com/2019/08/effficitynet-edgetpu-creating.html）
  • EdgitionNet-CondConv（https://arxiv.org/abs/1904.04971）
  • EfficityNet-lite（https://github.com/tensorflow/tpu/tree/master/models/models/official/efficitynet/lite）
  • MixNet（https://arxiv.org/abs/1907.09595）
  • mnasnet b1，a1（squeeze-excite）和小（https://arxiv.org/abs/1807.11626）
  • Mobilenet-V3（https://arxiv.org/abs/1905.02244）
  • FBNET-C（https://arxiv.org/abs/1812.03443）
  • 单路NAS（https://arxiv.org/abs/1904.02877）

我最初在此处使用代码实现并培训了一些这些模型，此存储库仅包含GenefficityNet模型，验证和关联的ONNX/CAFFE2导出代码。

预估计

我已经设法训练了几个模型，以接近或更高的原始论文和官方Inphl。我的培训代码在这里：https：//github.com/rwightman/pytorch-image-models

模型prec@1（err） prec@5（err）参数＃（M） MADDS（M）图像缩放解决庄稼
效率网络_b3 82.240（17.760） 96.116（3.884） 12.23 TBD比科比奇320 1.0
效率网络_b3 82.076（17.924） 96.020（3.980） 12.23 TBD比科比奇300 0.904
mixnet_xl 81.074（18.926） 95.282（4.718） 11.90 TBD比科比奇256 1.0
效率网络_b2 80.612（19.388） 95.318（4.682） 9.1 TBD比科比奇288 1.0
mixnet_xl 80.476（19.524） 94.936（5.064） 11.90 TBD比科比奇224 0.875
效率网络_b2 80.288（19.712） 95.166（4.834） 9.1 1003比科比奇260 0.890
mixnet_l 78.976（21.024 94.184（5.816） 7.33 TBD比科比奇224 0.875
效率网络_b1 78.692（21.308） 94.086（5.914） 7.8 694比科比奇240 0.882
效率网络78.066（21.934） 93.926（6.074） 5.44 TBD比科比奇224 0.875
效率网络_b0 77.698（22.302） 93.532（6.468） 5.3 390比科比奇224 0.875
MOBILENETV2_120D 77.294（22.706 93.502（6.498） 5.8 TBD比科比奇224 0.875
mixnet_m 77.256（22.744） 93.418（6.582） 5.01 353比科比奇224 0.875
MOBILENETV2_140 76.524（23.476） 92.990（7.010） 6.1 TBD比科比奇224 0.875
mixnet_s 75.988（24.012） 92.794（7.206） 4.13 TBD比科比奇224 0.875
Mobilenetv3_large_100 75.766（24.234） 92.542（7.458） 5.5 TBD比科比奇224 0.875
mobilenetv3_rw 75.634（24.366） 92.708（7.292） 5.5 219比科比奇224 0.875
EditiveNet_lite0 75.472（24.528） 92.520（7.480） 4.65 TBD比科比奇224 0.875
mnasnet_a1 75.448（24.552） 92.604（7.396） 3.9 312比科比奇224 0.875
FBNETC_100 75.124（24.876） 92.386（7.614） 5.6 385双线性224 0.875
MobileNetv2_110D 75.052（24.948） 92.180（7.820） 4.5 TBD比科比奇224 0.875
mnasnet_b1 74.658（25.342） 92.114（7.886） 4.4 315比科比奇224 0.875
spnasnet_100 74.084（25.916） 91.818（8.182） 4.4 TBD双线性224 0.875
Mobilenetv2_100 72.978（27.022） 91.016（8.984） 3.5 TBD比科比奇224 0.875

更谨慎的模型来了...

移植重量

一旦添加了相同的卷积填充等效量，从TensorFlow检查点上移植的权重在Tensorflow中的精度几乎可以匹配，并且通过CMD Line Args使用了相同的裁剪因子，图像缩放等等（请参阅表）。

重要的：

  • 高效网络ADVPROP（AP），EFIDICENET EDGETPU，EFIDENENET-CONDCONV，EFIDENDNET-LITE和MOBILENET-V3模型的张量端口重量使用Inception样式（0.5，0.5，0.5）用于平均值和STD。
  • 在验证时间启用使用--tf-preprocessing的TensorFlow预处理管道将提高0.1-0.5％的分数，非常接近原始TF Implant。

要运行tf_effidiceNet_b5的验证： python validate.py /path/to/imagenet/validation/ --model tf_efficientnet_b5 -b 64 --img-size 456 --crop-pct 0.934 --interpolation bicubic

要运行tf_effidiceNet_b5的带有TF预处理的验证： python validate.py /path/to/imagenet/validation/ --model tf_efficientnet_b5 -b 64 --img-size 456 --tf-preprocessing

要运行具有创建预处理的模型的验证，IE EfficityNet-B8 Advprop： python validate.py /path/to/imagenet/validation/ --model tf_efficientnet_b8_ap -b 48 --num-gpu 2 --img-size 672 --crop-pct 0.954 --mean 0.5 --std 0.5

模型prec@1（err） prec@5（err）参数＃图像缩放图像大小庄稼
tf_effidicednet_l2_ns *tfp 88.352（11.648） 98.652（1.348） 480比科比奇800 N/A。
tf_effidicednet_l2_ns TBD TBD 480比科比奇800 0.961
tf_effidicednet_l2_ns_475 88.234（11.766） 98.546（1.454） 480比科比奇475 0.936
tf_effidicenet_l2_ns_475 *tfp 88.172（11.828） 98.566（1.434） 480比科比奇475 N/A。
tf_effidicednet_b7_ns *tfp 86.844（13.156） 98.084（1.916） 66.35比科比奇600 N/A。
tf_effidicednet_b7_ns 86.840（13.160） 98.094（1.906） 66.35比科比奇600 N/A。
tf_effidicenet_b6_ns 86.452（13.548） 97.882（2.118） 43.04比科比奇528 N/A。
tf_effidicednet_b6_ns *tfp 86.444（13.556） 97.880（2.120） 43.04比科比奇528 N/A。
tf_effidicenet_b5_ns *tfp 86.064（13.936） 97.746（2.254） 30.39比科比奇456 N/A。
tf_effidicednet_b5_ns 86.088（13.912） 97.752（2.248） 30.39比科比奇456 N/A。
tf_effidicenet_b8_ap *tfp 85.436（14.564） 97.272（2.728） 87.4比科比奇672 N/A。
tf_effidicednet_b8 *tfp 85.384（14.616） 97.394（2.606） 87.4比科比奇672 N/A。
tf_effidicednet_b8 85.370（14.630） 97.390（2.610） 87.4比科比奇672 0.954
tf_effidicednet_b8_ap 85.368（14.632） 97.294（2.706） 87.4比科比奇672 0.954
tf_effidicenet_b4_ns *tfp 85.298（14.702） 97.504（2.496） 19.34比科比奇380 N/A。
tf_effidicednet_b4_ns 85.162（14.838） 97.470（2.530） 19.34比科比奇380 0.922
tf_effidicenet_b7_ap *tfp 85.154（14.846） 97.244（2.756） 66.35比科比奇600 N/A。
tf_effidicednet_b7_ap 85.118（14.882） 97.252（2.748） 66.35比科比奇600 0.949
tf_effidicednet_b7 *tfp 84.940（15.060） 97.214（2.786） 66.35比科比奇600 N/A。
tf_effidicednet_b7 84.932（15.068） 97.208（2.792） 66.35比科比奇600 0.949
tf_effidicednet_b6_ap 84.786（15.214） 97.138（2.862） 43.04比科比奇528 0.942
tf_effidicenet_b6_ap *tfp 84.760（15.240） 97.124（2.876） 43.04比科比奇528 N/A。
tf_effidicenet_b5_ap *tfp 84.276（15.724） 96.932（3.068） 30.39比科比奇456 N/A。
tf_effidicednet_b5_ap 84.254（15.746） 96.976（3.024） 30.39比科比奇456 0.934
tf_effidicednet_b6 *tfp 84.140（15.860） 96.852（3.148） 43.04比科比奇528 N/A。
tf_effidicednet_b6 84.110（15.890） 96.886（3.114） 43.04比科比奇528 0.942
tf_effidicenet_b3_ns *tfp 84.054（15.946） 96.918（3.082） 12.23比科比奇300 N/A。
tf_effidicednet_b3_ns 84.048（15.952） 96.910（3.090） 12.23比科比奇300 .904
tf_effidicenet_b5 *tfp 83.822（16.178） 96.756（3.244） 30.39比科比奇456 N/A。
tf_effidicednet_b5 83.812（16.188） 96.748（3.252） 30.39比科比奇456 0.934
tf_effidicenet_b4_ap *tfp 83.278（16.722） 96.376（3.624） 19.34比科比奇380 N/A。
tf_effidicednet_b4_ap 83.248（16.752） 96.388（3.612） 19.34比科比奇380 0.922
tf_effidicednet_b4 83.022（16.978） 96.300（3.700） 19.34比科比奇380 0.922
tf_effidicenet_b4 *tfp 82.948（17.052） 96.308（3.692） 19.34比科比奇380 N/A。
tf_effidicenet_b2_ns *tfp 82.436（17.564） 96.268（3.732） 9.11比科比奇260 N/A。
tf_effidicenet_b2_ns 82.380（17.620） 96.248（3.752） 9.11比科比奇260 0.89
tf_effidicenet_b3_ap *tfp 81.882（18.118） 95.662（4.338） 12.23比科比奇300 N/A。
tf_effidicenet_b3_ap 81.828（18.172） 95.624（4.376） 12.23比科比奇300 0.904
tf_effidicednet_b3 81.636（18.364） 95.718（4.282） 12.23比科比奇300 0.904
tf_effidicednet_b3 *tfp 81.576（18.424） 95.662（4.338） 12.23比科比奇300 N/A。
tf_effidicenet_lite4 81.528（18.472） 95.668（4.332） 13.00双线性380 0.92
tf_effidicenet_b1_ns *tfp 81.514（18.486） 95.776（4.224） 7.79比科比奇240 N/A。
tf_effidicenet_lite4 *tfp 81.502（18.498） 95.676（4.324） 13.00双线性380 N/A。
tf_effidicednet_b1_ns 81.388（18.612） 95.738（4.262） 7.79比科比奇240 0.88
tf_effidicednet_el 80.534（19.466） 95.190（4.810） 10.59比科比奇300 0.904
tf_effidicenet_el *tfp 80.476（19.524） 95.200（4.800） 10.59比科比奇300 N/A。
tf_effidicenet_b2_ap *tfp 80.420（19.580） 95.040（4.960） 9.11比科比奇260 N/A。
tf_effidicednet_b2_ap 80.306（19.694） 95.028（4.972） 9.11比科比奇260 0.890
tf_effidicednet_b2 *tfp 80.188（19.812） 94.974（5.026） 9.11比科比奇260 N/A。
tf_effidicednet_b2 80.086（19.914） 94.908（5.092） 9.11比科比奇260 0.890
tf_effidicenet_lite3 79.812（20.188） 94.914（5.086） 8.20双线性300 0.904
tf_effidicenet_lite3 *tfp 79.734（20.266） 94.838（5.162） 8.20双线性300 N/A。
tf_effidicednet_b1_ap *tfp 79.532（20.468） 94.378（5.622） 7.79比科比奇240 N/A。
tf_effidicenet_cc_b1_8e *tfp 79.464（20.536） 94.492（5.508） 39.7比科比奇240 0.88
tf_effidicenet_cc_b1_8e 79.298（20.702） 94.364（5.636） 39.7比科比奇240 0.88
tf_effidicenet_b1_ap 79.278（20.722） 94.308（5.692） 7.79比科比奇240 0.88
tf_effidicednet_b1 *tfp 79.172（20.828） 94.450（5.550） 7.79比科比奇240 N/A。
tf_effidicenet_em *tfp 78.958（21.042） 94.458（5.542） 6.90比科比奇240 N/A。
tf_effidicenet_b0_ns *tfp 78.806（21.194） 94.496（5.504） 5.29比科比奇224 N/A。
TF_MIXNET_L *TFP 78.846（21.154） 94.212（5.788） 7.33双线性224 N/A。
tf_effidicednet_b1 78.826（21.174） 94.198（5.802） 7.79比科比奇240 0.88
tf_mixnet_l 78.770（21.230） 94.004（5.996） 7.33比科比奇224 0.875
tf_effidicednet_em 78.742（21.258） 94.332（5.668） 6.90比科比奇240 0.875
tf_effidicednet_b0_ns 78.658（21.342） 94.376（5.624） 5.29比科比奇224 0.875
tf_effidicenet_cc_b0_8e *tfp 78.314（21.686） 93.790（6.210） 24.0比科比奇224 0.875
tf_effidicenet_cc_b0_8e 77.908（22.092） 93.656（6.344） 24.0比科比奇224 0.875
tf_effidicenet_cc_b0_4e *tfp 77.746（22.254） 93.552（6.448） 13.3比科比奇224 0.875
tf_effidicenet_cc_b0_4e 77.304（22.696） 93.332（6.668） 13.3比科比奇224 0.875
tf_effidicenet_es *tfp 77.616（22.384） 93.750（6.250） 5.44比科比奇224 N/A。
tf_effidicenet_lite2 *tfp 77.544（22.456） 93.800（6.200） 6.09双线性260 N/A。
tf_effidicenet_lite2 77.460（22.540） 93.746（6.254） 6.09比科比奇260 0.89
tf_effidicednet_b0_ap *tfp 77.514（22.486） 93.576（6.424） 5.29比科比奇224 N/A。
tf_effidicednet_es 77.264（22.736） 93.600（6.400） 5.44比科比奇224 N/A。
tf_effidicenet_b0 *tfp 77.258（22.742） 93.478（6.522） 5.29比科比奇224 N/A。
tf_effidicednet_b0_ap 77.084（22.916） 93.254（6.746） 5.29比科比奇224 0.875
TF_MIXNET_M *TFP 77.072（22.928） 93.368（6.632） 5.01双线性224 N/A。
tf_mixnet_m 76.950（23.050） 93.156（6.844） 5.01比科比奇224 0.875
tf_effidicednet_b0 76.848（23.152） 93.228（6.772） 5.29比科比奇224 0.875
tf_effidicenet_lite1 *tfp 76.764（23.236） 93.326（6.674） 5.42双线性240 N/A。
tf_effidicenet_lite1 76.638（23.362） 93.232（6.768） 5.42比科比奇240 0.882
TF_MIXNET_S *TFP 75.800（24.200） 92.788（7.212） 4.13双线性224 N/A。
tf_mobilenetv3_large_100 *tfp 75.768（24.232） 92.710（7.290） 5.48双线性224 N/A。
tf_mixnet_s 75.648（24.352） 92.636（7.364） 4.13比科比奇224 0.875
tf_mobilenetv3_large_100 75.516（24.484） 92.600（7.400） 5.48双线性224 0.875
tf_effidicenet_lite0 *tfp 75.074（24.926） 92.314（7.686） 4.65双线性224 N/A。
tf_effidicenet_lite0 74.842（25.158） 92.170（7.830） 4.65比科比奇224 0.875
tf_mobilenetv3_large_075 *TFP 73.730（26.270） 91.616（8.384） 3.99双线性224 N/A。
tf_mobilenetv3_large_075 73.442（26.558） 91.352（8.648） 3.99双线性224 0.875
tf_mobilenetv3_large_minimal_100 *tfp 72.678（27.322） 90.860（9.140） 3.92双线性224 N/A。
tf_mobilenetv3_large_minimal_100 72.244（27.756） 90.636（9.364） 3.92双线性224 0.875
tf_mobilenetv3_small_100 *tfp 67.918（32.082） 87.958（12.042 2.54双线性224 N/A。
tf_mobilenetv3_small_100 67.918（32.082） 87.662（12.338） 2.54双线性224 0.875
tf_mobilenetv3_small_075 *tfp 66.142（33.858） 86.498（13.502） 2.04双线性224 N/A。
tf_mobilenetv3_small_075 65.718（34.282） 86.136（13.864） 2.04双线性224 0.875
tf_mobilenetv3_small_minimal_100 *tfp 63.378（36.622） 84.802（15.198） 2.04双线性224 N/A。
tf_mobilenetv3_small_minimal_100 62.898（37.102） 84.230（15.770） 2.04双线性224 0.875

*用tf-preprocessing Pipeline验证的TFP模型

Google TF和Tflite重量从官方Tensorflow存储库移植

  • https://github.com/tensorflow/tpu/tree/master/models/models/official/mnasnet
  • https://github.com/tensorflow/tpu/tree/master/models/models/official/effficitynet
  • https://github.com/tensorflow/models/tree/master/research/slim/nets/mobilenet

用法

环境

所有开发和测试均已在Linux X86-64系统的Conda Python 3环境中进行，特别是Python 3.6.x，3.7.x，3.8.x.。

用户报告说，Windows Works中安装了Python 3 Anaconda。我自己没有验证这一点。

使用此代码对Pytorch版本1.4、1.5、1.6进行了测试。

我试图将依赖关系保持在最低点，设置是按照Pytorch的默认安装说明：Conda： 

 conda create -n torch-env
conda activate torch-env
conda install -c pytorch pytorch torchvision cudatoolkit=10.2

Pytorch枢纽

可以通过Pytorch Hub API访问模型

 >>> torch.hub.list('rwightman/gen-efficientnet-pytorch')
['efficientnet_b0', ...]
>>> model = torch.hub.load('rwightman/gen-efficientnet-pytorch', 'efficientnet_b0', pretrained=True)
>>> model.eval()
>>> output = model(torch.randn(1,3,224,224))

pip

该软件包可以通过PIP安装。

安装（conda env/install之后）： 

 pip install geffnet

评估使用： 

 >>> import geffnet
>>> m = geffnet.create_model('mobilenetv3_large_100', pretrained=True)
>>> m.eval()

火车使用： 

 >>> import geffnet
>>> # models can also be created by using the entrypoint directly
>>> m = geffnet.efficientnet_b2(pretrained=True, drop_rate=0.25, drop_connect_rate=0.2)
>>> m.train()

在nn. sequinential容器中创建，用于fast.ai等： 

 >>> import geffnet
>>> m = geffnet.mixnet_l(pretrained=True, drop_rate=0.25, drop_connect_rate=0.2, as_sequential=True)

出口

脚本包括在

  • 导出到ONNX（ onnx_export.py ）
  • 优化的ONNX图（ onnx_optimize.py或onnx_validate.py w/ --onnx-output-opt arg）
  • 使用ONNX运行时验证（ onnx_validate.py ）
  • 将ONNX型号转换为caffe2（ onnx_to_caffe.py ）
  • 在caffe2中验证（ caffe2_validate.py ）
  • caffe2中的基准w/ flops，参数输出（ caffe2_benchmark.py ）

例如，导出Mobilenet-V3预估计的模型，然后运行ImageNet验证： 

 python onnx_export.py --model mobilenetv3_large_100 ./mobilenetv3_100.onnx
python onnx_validate.py /imagenet/validation/ --onnx-input ./mobilenetv3_100.onnx

这些脚本经过测试，该脚本是按照Pytorch 1.6和ONNX 1.7 W/ onnx运行时1.4的工作。 CAFFE2兼容导出现在需要导出脚本中提到的其他ARG（早期版本中不需要）。

出口笔记

  1. 除非将config.py中的_EXPORTABLE Flag设置为true，否则用“相同” Conv激活的TF移植权重不能导出到ONNX。使用config.set_exportable(True) ，如onnx_export.py脚本中。
  2. 带有“相同”填充物的TF移植型号将在导出时间固定填充，以将用于导出的分辨率。即使在OPSET> = 11中支持动态填充，我也无法正常工作。
  3. ONNX优化设施在Pytorch 1.6 / ONNX 1.7中无法可靠地工作。幸运的是，基于Onnxruntime的推理现在运行良好，包括在Fly Optimization上。
  4. ONNX / CAFFE2导出 /进口经常与不同的Pytorch和Onnx版本发行。请在此处提交问题之前先检查他们各自的问题跟踪器。
展开
附加信息
相关应用
为您推荐
相关资讯 全部