fast autoaugment下载 - fast autoaugment源代码下载

fast autoaugment

Python

1.0.0

下载

快速自动仪（在Neurips 2019接受）

Pytorch的官方快速自动实施实施。

快速自动仪使用基于密度匹配的更有效的搜索策略来学习增强策略。
快速自动启动通过数量级来加快搜索时间，同时保持可比的性能。

结果

CIFAR-10 /100

搜索： 3.5个GPU小时（比自动仪快1428倍） ，降低CIFAR-10的WRESNET-40X2

型号（CIFAR-10）	基线	剪下	自动说明	快速自动说明（转移/直接）
广泛的RESNET-40-2	5.3	4.1	3.7	3.6 / 3.7	下载
广泛的28-10	3.9	3.1	2.6	2.7 / 2.7	下载
摇晃（26 2x32d）	3.6	3.0	2.5	2.7 / 2.5	下载
摇晃（26 2x96d）	2.9	2.6	2.0	2.0 / 2.0	下载
摇晃（26 2x112d）	2.8	2.6	1.9	2.0 / 1.9	下载
金字塔+shakedrop	2.7	2.3	1.5	1.8 / 1.7	下载

型号（CIFAR-100）	基线	剪下	自动说明	快速自动说明（转移/直接）
广泛的RESNET-40-2	26.0	25.2	20.7	20.7 / 20.6	下载
广泛的28-10	18.8	18.4	17.1	17.3 / 17.3	下载
摇晃（26 2x96d）	17.1	16.0	14.3	14.9 / 14.6	下载
金字塔+shakedrop	14.0	12.2	10.7	11.9 / 11.7	下载

成像网

搜索： 450 GPU小时（比自动说明快33倍） ，Resnet-50在减少的Imagenet上

模型	基线	自动说明	快速自动说明（top1/top5）
Resnet-50	23.7 / 6.9	22.4 / 6.2	22.4 / 6.3	下载
Resnet-200	21.5 / 5.8	20.0 / 5.0	19.4 / 4.7	下载

笔记

我们以224和320的分辨率评估了Resnet-50和Resnet-200。根据原始的Resnet纸，通过320分辨率进行了重新网络200。当我们使用分辨率时，我们的Resnet-200基线的性能也相似。
但是，随着我们最近的代码清理和错误的文件，我们发现基线的性能甚至使用224x224。
当我们使用224x224时，RESNET-200执行20.0 / 5.2 。下载训练模型的链接在这里。

我们已经对有效网络进行了其他实验。

模型	基线	自动说明		我们的基线（批次）	+快速AA
B0	23.2	22.7		22.96	22.68

SVHN测试

搜索： 1.5 GPU小时

	基线	Autoaug /我们的	快速自动说明
宽resnet28x10	1.5	1.1	1.1

跑步

我们进行了实验

Python 3.6.9
pytorch 1.2.0，torchvision 0.4.0，cuda10

搜索增强政策

请阅读Ray的文档，以构建适当的射线群集：https：//github.com/ray-project/ray，并使用Master's Redis地址运行search.py。

 $ python search.py -c confs/wresnet40x2_cifar10_b512.yaml --dataroot ... --redis ...

通过发现的政策培训模型

您可以在CIFAR-10 /100上培训网络体系结构，并通过我们的搜索策略进行Imagenet。

FA_REDUDS_CIFAR10：减少CIFAR-10（4K图像），Wresnet-40x2
FA_REDUDS_IMAGENET：减少Imagenet（50k图像，120类），Resnet-50

 $ export PYTHONPATH=$PYTHONPATH:$PWD
$ python FastAutoAugment/train.py -c confs/wresnet40x2_cifar10_b512.yaml --aug fa_reduced_cifar10 --dataset cifar10
$ python FastAutoAugment/train.py -c confs/wresnet40x2_cifar10_b512.yaml --aug fa_reduced_cifar10 --dataset cifar100
$ python FastAutoAugment/train.py -c confs/wresnet28x10_cifar10_b512.yaml --aug fa_reduced_cifar10 --dataset cifar10
$ python FastAutoAugment/train.py -c confs/wresnet28x10_cifar10_b512.yaml --aug fa_reduced_cifar10 --dataset cifar100
...
$ python FastAutoAugment/train.py -c confs/resnet50_b512.yaml --aug fa_reduced_imagenet
$ python FastAutoAugment/train.py -c confs/resnet200_b512.yaml --aug fa_reduced_imagenet

通过添加一种 - 一种效果和 - 储备论证，您可以在不培训的情况下测试训练有素的模型。

如果您想使用Multi-GPU/ torch.distributed.launch进行训练

$ python -m torch.distributed.launch --nproc_per_node={num_gpu_per_node} --nnodes={num_node} --master_addr={master} --master_port={master_port} --node_rank={0,1,2,...,num_node} FastAutoAugment/train.py -c confs/efficientnet_b4.yaml --aug fa_reduced_imagenet

引用

如果您在研究中使用此代码，请引用我们的论文。

 @inproceedings{lim2019fast,
  title={Fast AutoAugment},
  author={Lim, Sungbin and Kim, Ildoo and Kim, Taesup and Kim, Chiheon and Kim, Sungwoong},
  booktitle={Advances in Neural Information Processing Systems (NeurIPS)},
  year={2019}
}