Les projets automatisés d'apprentissage en profondeur (Autodl-Projects) sont un projet open source, léger mais utile pour tout le monde. Ce projet a mis en œuvre plusieurs algorithmes de recherche d'architecture neurale (NAS) et d'optimisation hyper-paramètre (HPO). 中文介绍见 readme_cn.md
Qui devrait envisager d'utiliser des projets autodl
Pourquoi devrions-nous utiliser des projets autodl
En ce moment, ce projet fournit les algorithmes et scripts suivants pour les exécuter. Veuillez consulter les détails du lien fourni dans la colonne description.
| Taper | Abbrv | Algorithmes | Description |
|---|---|---|---|
| Nas | Tas | Élagage du réseau via une recherche d'architecture transformable | Nererips-2019-tas.md |
| Fléchettes | Fléchettes: recherche d'architecture différenciable | ICLR-2019-DARTS.MD | |
| GDA | Recherche d'une architecture neuronale robuste en quatre heures GPU | Cvpr-2019-gdas.md | |
| Set | Recherche d'architecture neuronale à un coup via un réseau de modèle auto-évalué | ICCV-2019-Setn.md | |
| NAS-BENCH-2010 | NAS-BENCH-2010: Extension de la portée de la recherche d'architecture neuronale reproductible | NAS-BENCH-201.MD | |
| Nats-banc | Nats-Bench: Algorithmes NAS d'analyse comparative pour la topologie et la taille de l'architecture | Nats-bench.md | |
| ... | Enas / rea / renforce / bohb | Veuillez vérifier les papiers originaux | NAS-BENCH-201.MD NATS-BENCH.MD |
| HPO | Hpo-cg | Optimisation de l'hyperparamètre avec un gradient approximatif | à venir |
| Basique | Resnet | Classification d'image basée sur l'apprentissage en profondeur | Baseline.md |
Tout d'abord , veuillez utiliser pip install . Pour installer la bibliothèque xautodl .
Veuillez installer Python>=3.6 et PyTorch>=1.5.0 . (Vous pouvez utiliser des versions inférieures de Python et Pytorch, mais peut avoir des bogues). Certains codes de visualisation peuvent nécessiter opencv .
Cifar et ImageNet doivent être téléchargés et extraits dans $TORCH_HOME . Certaines méthodes utilisent la distillation des connaissances (KD), qui nécessitent des modèles pré-formés. Veuillez télécharger ces modèles à partir de Google Drive (ou s'entraîner par vous-même) et enregistrer dans .latent-data .
Veuillez utiliser
git clone --recurse-submodules https://github.com/D-X-Y/AutoDL-Projects.git XAutoDL
Pour télécharger ce dépôt avec des sous-modules.
Si vous constatez que ce projet aide vos recherches, veuillez envisager de citer l'article connexe:
@inproceedings{dong2021autohas,
title = {{AutoHAS}: Efficient Hyperparameter and Architecture Search},
author = {Dong, Xuanyi and Tan, Mingxing and Yu, Adams Wei and Peng, Daiyi and Gabrys, Bogdan and Le, Quoc V},
booktitle = {2nd Workshop on Neural Architecture Search at International Conference on Learning Representations (ICLR)},
year = {2021}
}
@article{dong2021nats,
title = {{NATS-Bench}: Benchmarking NAS Algorithms for Architecture Topology and Size},
author = {Dong, Xuanyi and Liu, Lu and Musial, Katarzyna and Gabrys, Bogdan},
doi = {10.1109/TPAMI.2021.3054824},
journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
year = {2021},
note = {mbox{doi}:url{10.1109/TPAMI.2021.3054824}}
}
@inproceedings{dong2020nasbench201,
title = {{NAS-Bench-201}: Extending the Scope of Reproducible Neural Architecture Search},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {International Conference on Learning Representations (ICLR)},
url = {https://openreview.net/forum?id=HJxyZkBKDr},
year = {2020}
}
@inproceedings{dong2019tas,
title = {Network Pruning via Transformable Architecture Search},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Neural Information Processing Systems (NeurIPS)},
pages = {760--771},
year = {2019}
}
@inproceedings{dong2019one,
title = {One-Shot Neural Architecture Search via Self-Evaluated Template Network},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Proceedings of the IEEE International Conference on Computer Vision (ICCV)},
pages = {3681--3690},
year = {2019}
}
@inproceedings{dong2019search,
title = {Searching for A Robust Neural Architecture in Four GPU Hours},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
pages = {1761--1770},
year = {2019}
}
Si vous souhaitez contribuer à ce dépôt, veuillez consulter contribution.md. En outre, veuillez suivre le code de conduct.md.
Nous utilisons black pour le formateur de code Python. Veuillez utiliser black . -l 88 .
L'ensemble de la base de code est sous la licence MIT.