fast autoaugment 다운로드 - fast autoaugment 소스 코드 다운로드

fast autoaugment

파이썬

1.0.0

다운로드

빠른자가 조정 (Neurips 2019에서 허용)

Pytorch의 공식 빠른 자동 조정 구현.

빠른 자동 조정은 밀도 매칭을 기반으로보다 효율적인 검색 전략을 사용하여 확대 정책을 배웁니다.
빠른자가 조정은 비슷한 성능을 유지하면서 검색 시간을 몇 배로 올립니다.

결과

CIFAR-10 / 100

검색 : 3.5 GPU 시간 (자동 조정보다 1428 배 빠른 1428 배 더 빠르기)

모델 (CIFAR-10)	기준선	차단	자동 조정	빠른자가 조정 (전송/직접)
넓은 레즈넷 -40-2	5.3	4.1	3.7	3.6 / 3.7	다운로드
넓은 레즈넷 -28-10	3.9	3.1	2.6	2.7 / 2.7	다운로드
Shake-Shake (26 2x32d)	3.6	3.0	2.5	2.7 / 2.5	다운로드
Shake-Shake (26 2x96d)	2.9	2.6	2.0	2.0 / 2.0	다운로드
Shake-Shake (26 2x112d)	2.8	2.6	1.9	2.0 / 1.9	다운로드
피라미드 넷+셰이크 롭	2.7	2.3	1.5	1.8 / 1.7	다운로드

모델 (CIFAR-100)	기준선	차단	자동 조정	빠른자가 조정 (전송/직접)
넓은 레즈넷 -40-2	26.0	25.2	20.7	20.7 / 20.6	다운로드
넓은 레즈넷 -28-10	18.8	18.4	17.1	17.3 / 17.3	다운로드
Shake-Shake (26 2x96d)	17.1	16.0	14.3	14.9 / 14.6	다운로드
피라미드 넷+셰이크 롭	14.0	12.2	10.7	11.9 / 11.7	다운로드

imagenet

검색 : 450 gpu 시간 (자가 조정보다 33 배 빠른 33 배 더 빠르기) , Resnet-50 감소 된 Imagenet

모델	기준선	자동 조정	빠른자가 조정 (Top1/Top5)
RESNET-50	23.7 / 6.9	22.4 / 6.2	22.4 / 6.3	다운로드
RESNET-200	21.5 / 5.8	20.0 / 5.0	19.4 / 4.7	다운로드

메모

우리는 각각 224와 320의 해상도로 RESNET-50 및 RESNET-200을 평가했습니다. 원래 RESNET 용지에 따르면 RESNET 200은 320의 해상도로 테스트되었습니다. 또한 해상도를 사용할 때 RESNET-200 기준선의 성능도 비슷했습니다.
그러나 최근 코드 정리 및 버그 수정을 통해 기준선은 224x224를 사용하더라도 기준선과 유사한 것으로 나타났습니다.
224x224를 사용하면 Resnet-200이 20.0 / 5.2를 수행합니다. 훈련 된 모델에 대한 다운로드 링크는 여기에 있습니다.

우리는 효율적인 넷으로 추가 실험을 수행했습니다.

모델	기준선	자동 조정		우리의 기준선 (배치)	+빠른 AA
B0	23.2	22.7		22.96	22.68

SVHN 테스트

검색 : 1.5 GPU 시간

	기준선	autoaug / 우리	빠른자가 조정
와이드 레즈넷 28x10	1.5	1.1	1.1

달리다

우리는 실험을 수행했습니다

파이썬 3.6.9
Pytorch 1.2.0, Torchvision 0.4.0, Cuda10

증강 정책을 검색하십시오

Ray의 문서를 읽으십시오. https://github.com/ray-project/ray, Master의 Redis 주소로 Search.py를 실행하십시오.

 $ python search.py -c confs/wresnet40x2_cifar10_b512.yaml --dataroot ... --redis ...

발견 된 정책으로 모델을 훈련시킵니다

CIFAR-10 / 100에서 네트워크 아키텍처와 검색 된 정책으로 Imagenet을 훈련시킬 수 있습니다.

FA_REDUCED_CIFAR10 : CIFAR-10 (4K 이미지), WRESNET-40X2 감소
FA_REDUCED_IMAGENET : imagenet 감소 (50K 이미지, 120 클래스), RESNET-50

 $ export PYTHONPATH=$PYTHONPATH:$PWD
$ python FastAutoAugment/train.py -c confs/wresnet40x2_cifar10_b512.yaml --aug fa_reduced_cifar10 --dataset cifar10
$ python FastAutoAugment/train.py -c confs/wresnet40x2_cifar10_b512.yaml --aug fa_reduced_cifar10 --dataset cifar100
$ python FastAutoAugment/train.py -c confs/wresnet28x10_cifar10_b512.yaml --aug fa_reduced_cifar10 --dataset cifar10
$ python FastAutoAugment/train.py -c confs/wresnet28x10_cifar10_b512.yaml --aug fa_reduced_cifar10 --dataset cifar100
...
$ python FastAutoAugment/train.py -c confs/resnet50_b512.yaml --aug fa_reduced_imagenet
$ python FastAutoAugment/train.py -c confs/resnet200_b512.yaml --aug fa_reduced_imagenet

-only-eval 및-save 인수를 추가하면 훈련없이 훈련 된 모델을 테스트 할 수 있습니다.

멀티 -GPU/노드로 훈련하려면 torch.distributed.launch 사용하십시오.

$ python -m torch.distributed.launch --nproc_per_node={num_gpu_per_node} --nnodes={num_node} --master_addr={master} --master_port={master_port} --node_rank={0,1,2,...,num_node} FastAutoAugment/train.py -c confs/efficientnet_b4.yaml --aug fa_reduced_imagenet

소환

연구 에서이 코드를 사용하는 경우 논문을 인용하십시오.

 @inproceedings{lim2019fast,
  title={Fast AutoAugment},
  author={Lim, Sungbin and Kim, Ildoo and Kim, Taesup and Kim, Chiheon and Kim, Sungwoong},
  booktitle={Advances in Neural Information Processing Systems (NeurIPS)},
  year={2019}
}