Automatisierte Deep-Learning-Projekte (Autodl-Projects) sind ein Open-Source-Projekt, aber für alle ein nützliches Projekt. In diesem Projekt wurden mehrere Algorithmen für neuronale Architektursuche (NAS) und Hyper-Parameter-Optimierung (HPO) implementiert. 中文介绍见 readme_cn.md
Wer sollte in Betracht ziehen, Autodl-Projekte zu verwenden?
Warum sollten wir autodl-projekte verwenden
In diesem Moment bietet dieses Projekt die folgenden Algorithmen und Skripte, um sie auszuführen. Bitte beachten Sie die Details im Link in der Spalte Beschreibung.
| Typ | Abbrv | Algorithmen | Beschreibung |
|---|---|---|---|
| Nas | Tas | Netzwerkbeschnitten durch transformierbare Architektursuche | Neurips-2019-tas.md |
| DARTS | Darts: Differenzierbare Architektursuche | ICLR-2019-Darts.md | |
| GDAs | Auf der Suche nach einer robusten neuronalen Architektur in vier GPU -Stunden | CVPR-2019-Gdas.md | |
| Setn | Ein-Schuss-Suche nach neuronaler Architektur durch selbstbewertete Vorlagennetzwerk | ICCV-2019-setn.md | |
| NAS-Bench-201 | NAS-Bench-2010: Erweiterung des Umfangs der reproduzierbaren Suche | NAS-Bench-2010.md | |
| Nats-Bench | NATS-Bench: Benchmarking-NAS-Algorithmen für Architekturtopologie und Größe | Nats-Bench.md | |
| ... | ENAS / rea / verstärken / bohb | Bitte überprüfen Sie die Originalpapiere | NAS-Bench-201.md Nats-Bench.md |
| HPO | HPO-CG | Hyperparameteroptimierung mit ungefähren Gradienten | bald kommen |
| Basic | Resnet | Deep-Lernbasierte Bildklassifizierung | Baseline.md |
Verwenden Sie zunächst pip install . So installieren Sie xautodl -Bibliothek.
Bitte installieren Sie Python>=3.6 und PyTorch>=1.5.0 . (Sie können niedrigere Versionen von Python und Pytorch verwenden, können jedoch Fehler haben). Einige Visualisierungscodes erfordern möglicherweise opencv .
Cifar und ImageNet sollten heruntergeladen und in $TORCH_HOME extrahiert werden. Einige Methoden verwenden Wissensdestillation (KD), für die vorgebrachte Modelle erforderlich sind. Bitte laden Sie diese Modelle von Google Drive (oder trainieren Sie selbst) herunter und speichern Sie in .latent-data .
Bitte verwenden Sie
git clone --recurse-submodules https://github.com/D-X-Y/AutoDL-Projects.git XAutoDL
So herunterladen dieses Repo mit Submodules.
Wenn Sie feststellen, dass dieses Projekt Ihre Forschung hilft, sollten Sie das zugehörige Papier zitieren:
@inproceedings{dong2021autohas,
title = {{AutoHAS}: Efficient Hyperparameter and Architecture Search},
author = {Dong, Xuanyi and Tan, Mingxing and Yu, Adams Wei and Peng, Daiyi and Gabrys, Bogdan and Le, Quoc V},
booktitle = {2nd Workshop on Neural Architecture Search at International Conference on Learning Representations (ICLR)},
year = {2021}
}
@article{dong2021nats,
title = {{NATS-Bench}: Benchmarking NAS Algorithms for Architecture Topology and Size},
author = {Dong, Xuanyi and Liu, Lu and Musial, Katarzyna and Gabrys, Bogdan},
doi = {10.1109/TPAMI.2021.3054824},
journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
year = {2021},
note = {mbox{doi}:url{10.1109/TPAMI.2021.3054824}}
}
@inproceedings{dong2020nasbench201,
title = {{NAS-Bench-201}: Extending the Scope of Reproducible Neural Architecture Search},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {International Conference on Learning Representations (ICLR)},
url = {https://openreview.net/forum?id=HJxyZkBKDr},
year = {2020}
}
@inproceedings{dong2019tas,
title = {Network Pruning via Transformable Architecture Search},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Neural Information Processing Systems (NeurIPS)},
pages = {760--771},
year = {2019}
}
@inproceedings{dong2019one,
title = {One-Shot Neural Architecture Search via Self-Evaluated Template Network},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Proceedings of the IEEE International Conference on Computer Vision (ICCV)},
pages = {3681--3690},
year = {2019}
}
@inproceedings{dong2019search,
title = {Searching for A Robust Neural Architecture in Four GPU Hours},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
pages = {1761--1770},
year = {2019}
}
Wenn Sie zu diesem Repo beitragen möchten, sehen Sie sich bitte den Beitrag zum Mitwirkenden an. Außerdem folgen Sie bitte den Konditionscode.md.
Wir verwenden black für Python -Codeformatierer. Bitte verwenden Sie black . -l 88 .
Die gesamte Codebasis befindet sich unter der MIT -Lizenz.