자동화 된 딥 러닝 프로젝트 (AutoDl-Projects)는 오픈 소스이며 가볍지 만 모든 사람에게 유용한 프로젝트입니다. 이 프로젝트는 NAS (Neural Architecture Search) 및 HPO (Hyper-Parameter Optimization) 알고리즘을 구현했습니다. 中文介绍见 readme_cn.md
AutoDl-Projects 사용을 고려해야합니다
AutoDl-Projects를 사용해야하는 이유는 무엇입니까?
현재이 프로젝트는 다음과 같은 알고리즘과 스크립트를 제공합니다. 설명 열에 제공된 링크의 세부 사항을 참조하십시오.
| 유형 | ABBRV | 알고리즘 | 설명 |
|---|---|---|---|
| NAS | TAS | 변환 가능한 아키텍처 검색을 통한 네트워크 가지 치기 | Neurips-2019-tas.md |
| 다트 | 다트 : 차별화 가능한 아키텍처 검색 | ICLR-2019-darts.md | |
| GDA | 4 시간 내에 강력한 신경 구조 검색 | CVPR-2019-gdas.md | |
| 세트 | 자체 평가 된 템플릿 네트워크를 통한 원샷 신경 아키텍처 검색 | ICCV-2019-SETN.MD | |
| NAS-Bench-201 | NAS-Bench-201 : 재현 가능한 신경 구조 검색 범위를 확장합니다 | NAS-BENCH-201.MD | |
| Nats-Bench | Nats-Bench : 아키텍처 토폴로지 및 크기를위한 NAS 알고리즘 벤치마킹 | nats-bench.md | |
| ... | ENAS / REA / INLEFORCE / BOHB | 원본 서류를 확인하십시오 | NAS-BENCH-201.MD NATS-BENCH.MD |
| HPO | HPO-CG | 대략적인 기울기를 사용한 하이퍼 파라미터 최적화 | 곧 올 것입니다 |
| 기초적인 | RESNET | 딥 러닝 기반 이미지 분류 | 기준선 .md |
우선 , pip install . xautodl 라이브러리를 설치하려면
Python>=3.6 및 PyTorch>=1.5.0 설치하십시오. (하위 버전의 Python 및 Pytorch를 사용할 수 있지만 버그가있을 수 있습니다). 일부 시각화 코드에는 opencv 필요할 수 있습니다.
cifar와 imagenet은 $TORCH_HOME 으로 다운로드하여 추출해야합니다. 일부 방법은 미리 훈련 된 모델이 필요한 지식 증류 (KD)를 사용합니다. Google 드라이브 에서이 모델을 다운로드하거나 직접 훈련하고 .latent-data 로 저장하십시오.
사용하십시오
git clone --recurse-submodules https://github.com/D-X-Y/AutoDL-Projects.git XAutoDL
이 레포를 서브 모듈로 다운로드하려면.
이 프로젝트가 연구에 도움이된다면 관련 논문을 인용하는 것을 고려하십시오.
@inproceedings{dong2021autohas,
title = {{AutoHAS}: Efficient Hyperparameter and Architecture Search},
author = {Dong, Xuanyi and Tan, Mingxing and Yu, Adams Wei and Peng, Daiyi and Gabrys, Bogdan and Le, Quoc V},
booktitle = {2nd Workshop on Neural Architecture Search at International Conference on Learning Representations (ICLR)},
year = {2021}
}
@article{dong2021nats,
title = {{NATS-Bench}: Benchmarking NAS Algorithms for Architecture Topology and Size},
author = {Dong, Xuanyi and Liu, Lu and Musial, Katarzyna and Gabrys, Bogdan},
doi = {10.1109/TPAMI.2021.3054824},
journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
year = {2021},
note = {mbox{doi}:url{10.1109/TPAMI.2021.3054824}}
}
@inproceedings{dong2020nasbench201,
title = {{NAS-Bench-201}: Extending the Scope of Reproducible Neural Architecture Search},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {International Conference on Learning Representations (ICLR)},
url = {https://openreview.net/forum?id=HJxyZkBKDr},
year = {2020}
}
@inproceedings{dong2019tas,
title = {Network Pruning via Transformable Architecture Search},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Neural Information Processing Systems (NeurIPS)},
pages = {760--771},
year = {2019}
}
@inproceedings{dong2019one,
title = {One-Shot Neural Architecture Search via Self-Evaluated Template Network},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Proceedings of the IEEE International Conference on Computer Vision (ICCV)},
pages = {3681--3690},
year = {2019}
}
@inproceedings{dong2019search,
title = {Searching for A Robust Neural Architecture in Four GPU Hours},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
pages = {1761--1770},
year = {2019}
}
이 repo에 기여하려면 Contributing.md를 참조하십시오. 게다가, Coduct.md를 따르십시오.
우리는 파이썬 코드 포맷터에 black 사용합니다. black . -l 88 .
전체 코드베이스는 MIT 라이센스에 따라 있습니다.