Los proyectos automatizados de aprendizaje profundo (Autodl-Projects) son un proyecto de código abierto, liviano, pero útil para todos. Este proyecto implementó varios algoritmos de Optimización de Hyper-Parameter (HPO) de Búsqueda de Arquitectura Neural (NAS) y Optimización de Hyper-Parameter. 中文介绍见 Readme_cn.md
¿Quién debería considerar usar los proyectos Autodl?
¿Por qué deberíamos usar Autodl-Projects?
En este momento, este proyecto proporciona los siguientes algoritmos y scripts para ejecutarlos. Consulte los detalles en el enlace proporcionado en la columna Descripción.
| Tipo | ABBRV | Algoritmos | Descripción |
|---|---|---|---|
| Nas | TAS | Poda de red a través de la búsqueda de arquitectura transformable | Neurips-2019-Tas.md |
| DARDOS | Darts: búsqueda de arquitectura diferenciable | ICLR-2019-darts.md | |
| GDA | Buscando una arquitectura neuronal robusta en cuatro horas de GPU | CVPR-2019-GDAS.MD | |
| Setn | Búsqueda de arquitectura neuronal de una sola búsqueda a través de la red de plantillas autoevaluadas | ICCV-2019-SETN.MD | |
| NAS BENCH-2010 | NAS BENCH-201-201: Extender el alcance de la búsqueda de arquitectura neuronal reproducible | NAS BENCH-201.MD | |
| Nats-Bench | NATS BENCH: Benchmarking NAS Algoritms for Architecture Topology and Size | Nats-bench.md | |
| ... | Enas / rea / reforze / bohb | Por favor revise los documentos originales | Nas bench-201.md nats bench.md |
| HPO | HPO-CG | Optimización de hiperparameter con gradiente aproximado | muy pronto |
| Básico | Resnet | Clasificación de imágenes basada en el aprendizaje profundo | Línea de base.md |
En primer lugar , use pip install . para instalar la biblioteca xautodl .
Instale Python>=3.6 y PyTorch>=1.5.0 . (Podría usar versiones más bajas de Python y Pytorch, pero puede tener errores). Algunos códigos de visualización pueden requerir opencv .
CIFAR e ImageNet deben descargarse y extraerse en $TORCH_HOME . Algunos métodos utilizan la destilación de conocimiento (KD), que requieren modelos previamente capacitados. Descargue estos modelos de Google Drive (o entrenar solo) y guarde en .latent-data .
Por favor use
git clone --recurse-submodules https://github.com/D-X-Y/AutoDL-Projects.git XAutoDL
Para descargar este repositorio con submódulos.
Si encuentra que este proyecto ayuda a su investigación, considere citar el documento relacionado:
@inproceedings{dong2021autohas,
title = {{AutoHAS}: Efficient Hyperparameter and Architecture Search},
author = {Dong, Xuanyi and Tan, Mingxing and Yu, Adams Wei and Peng, Daiyi and Gabrys, Bogdan and Le, Quoc V},
booktitle = {2nd Workshop on Neural Architecture Search at International Conference on Learning Representations (ICLR)},
year = {2021}
}
@article{dong2021nats,
title = {{NATS-Bench}: Benchmarking NAS Algorithms for Architecture Topology and Size},
author = {Dong, Xuanyi and Liu, Lu and Musial, Katarzyna and Gabrys, Bogdan},
doi = {10.1109/TPAMI.2021.3054824},
journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
year = {2021},
note = {mbox{doi}:url{10.1109/TPAMI.2021.3054824}}
}
@inproceedings{dong2020nasbench201,
title = {{NAS-Bench-201}: Extending the Scope of Reproducible Neural Architecture Search},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {International Conference on Learning Representations (ICLR)},
url = {https://openreview.net/forum?id=HJxyZkBKDr},
year = {2020}
}
@inproceedings{dong2019tas,
title = {Network Pruning via Transformable Architecture Search},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Neural Information Processing Systems (NeurIPS)},
pages = {760--771},
year = {2019}
}
@inproceedings{dong2019one,
title = {One-Shot Neural Architecture Search via Self-Evaluated Template Network},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Proceedings of the IEEE International Conference on Computer Vision (ICCV)},
pages = {3681--3690},
year = {2019}
}
@inproceedings{dong2019search,
title = {Searching for A Robust Neural Architecture in Four GPU Hours},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
pages = {1761--1770},
year = {2019}
}
Si desea contribuir a este repositorio, consulte Contriping.md. Además, siga el código de conducta.
Usamos black para el formateador de código Python. Por favor use black . -l 88 .
Toda la base de código está bajo la licencia MIT.