fast autoaugmentダウンロード - fast autoaugmentソースコードのダウンロード

fast autoaugment

パイソン

1.0.0

ダウンロード

高速オートオージメント（Neurips 2019で受け入れられます）

Pytorchでの公式の高速オートオージュの実装。

Fast Autoaugmentは、密度のマッチングに基づいて、より効率的な検索戦略を使用して増強ポリシーを学習します。
高速の自動開始は、同等のパフォーマンスを維持しながら、検索時間を数桁高速化します。

結果

CIFAR-10 /100

検索： 3.5 gpu時間（自動席よりも1428倍高速） 、cifar-10の減少でwresnet-40x2

モデル（CIFAR-10）	ベースライン	切り取る	自動検査	高速の自己順位（転送/直接）
ワイドレスネット-40-2	5.3	4.1	3.7	3.6 / 3.7	ダウンロード
ワイドレスネット-28-10	3.9	3.1	2.6	2.7 / 2.7	ダウンロード
シェイクシェイク（26 2x32d）	3.6	3.0	2.5	2.7 / 2.5	ダウンロード
シェイクシェイク（26 2x96d）	2.9	2.6	2.0	2.0 / 2.0	ダウンロード
シェイクシェイク（26 2x112d）	2.8	2.6	1.9	2.0 / 1.9	ダウンロード
pyramidnet+shakedrop	2.7	2.3	1.5	1.8 / 1.7	ダウンロード

モデル（CIFAR-100）	ベースライン	切り取る	自動検査	高速の自己順位（転送/直接）
ワイドレスネット-40-2	26.0	25.2	20.7	20.7 / 20.6	ダウンロード
ワイドレスネット-28-10	18.8	18.4	17.1	17.3 / 17.3	ダウンロード
シェイクシェイク（26 2x96d）	17.1	16.0	14.3	14.9 / 14.6	ダウンロード
pyramidnet+shakedrop	14.0	12.2	10.7	11.9 / 11.7	ダウンロード

Imagenet

検索： 450 gpu時間（自動検査よりも33倍高速） 、resnet-50の削減されたイメージネット

モデル	ベースライン	自動検査	高速の自己順位（TOP1/TOP5）
Resnet-50	23.7 / 6.9	22.4 / 6.2	22.4 / 6.3	ダウンロード
Resnet-200	21.5 / 5.8	20.0 / 5.0	19.4 / 4.7	ダウンロード

メモ

ResNet-50とResNet-200をそれぞれ224と320の解像度で評価しました。元のResNetペーパーによると、ResNet 200は320の解像度でテストされました。また、ResNet-200ベースラインのパフォーマンスは、解像度を使用したときに類似していました。
しかし、最近のコードクリーンアップとバグフィックスでは、224x224を使用してもベースラインがベースラインと同様に機能することがわかりました。
224x224を使用すると、ResNet-200は20.0 / 5.2を実行します。訓練されたモデルのダウンロードリンクはこちらです。

EfficientNetを使用して追加の実験を実施しました。

モデル	ベースライン	自動検査		私たちのベースライン（バッチ）	+fast aa
B0	23.2	22.7		22.96	22.68

SVHNテスト

検索： 1.5 GPU時間

	ベースライン	AutoAug /私たち	高速の自己順位
Wide-Resnet28x10	1.5	1.1	1.1

走る

下で実験を行いました

Python 3.6.9
Pytorch 1.2.0、Torchvision 0.4.0、Cuda10

増強ポリシーを検索します

Rayのドキュメントを読んで、適切なレイクラスターを作成してください：https：//github.com/ray-project/ray、およびMasterのRedisアドレスでSearch.pyを実行してください。

 $ python search.py -c confs/wresnet40x2_cifar10_b512.yaml --dataroot ... --redis ...

見つかったポリシーでモデルをトレーニングします

検索されたポリシーで、CIFAR-10 /100およびImagenetでネットワークアーキテクチャをトレーニングできます。

FA_REDUCED_CIFAR10：CIFAR-10（4K画像）、Wresnet-40x2の削減
fa_reduced_imagenet：Imagenetの削減（50k画像、120クラス）、Resnet-50

 $ export PYTHONPATH=$PYTHONPATH:$PWD
$ python FastAutoAugment/train.py -c confs/wresnet40x2_cifar10_b512.yaml --aug fa_reduced_cifar10 --dataset cifar10
$ python FastAutoAugment/train.py -c confs/wresnet40x2_cifar10_b512.yaml --aug fa_reduced_cifar10 --dataset cifar100
$ python FastAutoAugment/train.py -c confs/wresnet28x10_cifar10_b512.yaml --aug fa_reduced_cifar10 --dataset cifar10
$ python FastAutoAugment/train.py -c confs/wresnet28x10_cifar10_b512.yaml --aug fa_reduced_cifar10 --dataset cifar100
...
$ python FastAutoAugment/train.py -c confs/resnet50_b512.yaml --aug fa_reduced_imagenet
$ python FastAutoAugment/train.py -c confs/resnet200_b512.yaml --aug fa_reduced_imagenet

-only-valおよび - save引数を追加することにより、トレーニングなしで訓練されたモデルをテストできます。

Multi-GPU/ノードでトレーニングしたい場合は、 torch.distributed.launchなどを使用します。

$ python -m torch.distributed.launch --nproc_per_node={num_gpu_per_node} --nnodes={num_node} --master_addr={master} --master_port={master_port} --node_rank={0,1,2,...,num_node} FastAutoAugment/train.py -c confs/efficientnet_b4.yaml --aug fa_reduced_imagenet

引用

このコードを調査で使用する場合は、私たちの論文を引用してください。

 @inproceedings{lim2019fast,
  title={Fast AutoAugment},
  author={Lim, Sungbin and Kim, Ildoo and Kim, Taesup and Kim, Chiheon and Kim, Sungwoong},
  booktitle={Advances in Neural Information Processing Systems (NeurIPS)},
  year={2019}
}