自動化されたディープラーニングプロジェクト(AutoDL-Projects)は、オープンソースで、軽量でありながら有用なプロジェクトです。このプロジェクトは、いくつかのニューラルアーキテクチャ検索(NAS)およびハイパーパラメーター最適化(HPO)アルゴリズムを実装しました。 readme_cn.md
AutoDL-Projectsの使用を検討する必要があります
なぜautodl-projectsを使用する必要がありますか
現時点では、このプロジェクトは、それらを実行するための次のアルゴリズムとスクリプトを提供します。説明列に記載されているリンクの詳細をご覧ください。
| タイプ | abbrv | アルゴリズム | 説明 |
|---|---|---|---|
| Nas | タス | 変換可能なアーキテクチャ検索によるネットワーク剪定 | Neurips-2019-tas.md |
| ダーツ | DARTS:微分可能なアーキテクチャ検索 | ICLR-2019-Darts.md | |
| GDAS | 4 gpu時間で堅牢な神経アーキテクチャを探しています | CVPR-2019-GDAS.MD | |
| setn | 自己評価テンプレートネットワークを介したワンショットニューラルアーキテクチャ検索 | ICCV-2019-setn.md | |
| NASベンチ-201 | NAS-Bench-2010:再現可能な神経アーキテクチャ検索の範囲を拡張します | NASベンチ-201.MD | |
| ナットベンチ | NATSベンチ:アーキテクチャトポロジとサイズのベンチマークNASアルゴリズム | nats-bench.md | |
| ... | Enas / Rea / Renforce / Bohb | 元の論文をチェックしてください | NAS-Bench-201.Md Nats-Bench.md |
| HPO | HPO-CG | 近似勾配によるハイパーパラメーターの最適化 | 近日公開 |
| 基本 | resnet | 深い学習ベースの画像分類 | Baseline.md |
まず第一に、 pip install . xautodlライブラリをインストールします。
Python>=3.6およびPyTorch>=1.5.0をインストールしてください。 (PythonとPytorchの低いバージョンを使用できますが、バグがある場合があります)。一部の視覚化コードには、 opencvが必要になる場合があります。
CifarとImagenetをダウンロードし、 $TORCH_HOMEに抽出する必要があります。一部の方法では、事前に訓練されたモデルが必要な知識蒸留(KD)を使用します。これらのモデルをGoogleドライブ(または自分でトレーニング)からダウンロードして、 .latent-dataに保存してください。
使用してください
git clone --recurse-submodules https://github.com/D-X-Y/AutoDL-Projects.git XAutoDL
サブモジュールを使用してこのレポをダウンロードします。
このプロジェクトがあなたの研究に役立つことがわかった場合は、関連する論文を引用することを検討してください。
@inproceedings{dong2021autohas,
title = {{AutoHAS}: Efficient Hyperparameter and Architecture Search},
author = {Dong, Xuanyi and Tan, Mingxing and Yu, Adams Wei and Peng, Daiyi and Gabrys, Bogdan and Le, Quoc V},
booktitle = {2nd Workshop on Neural Architecture Search at International Conference on Learning Representations (ICLR)},
year = {2021}
}
@article{dong2021nats,
title = {{NATS-Bench}: Benchmarking NAS Algorithms for Architecture Topology and Size},
author = {Dong, Xuanyi and Liu, Lu and Musial, Katarzyna and Gabrys, Bogdan},
doi = {10.1109/TPAMI.2021.3054824},
journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
year = {2021},
note = {mbox{doi}:url{10.1109/TPAMI.2021.3054824}}
}
@inproceedings{dong2020nasbench201,
title = {{NAS-Bench-201}: Extending the Scope of Reproducible Neural Architecture Search},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {International Conference on Learning Representations (ICLR)},
url = {https://openreview.net/forum?id=HJxyZkBKDr},
year = {2020}
}
@inproceedings{dong2019tas,
title = {Network Pruning via Transformable Architecture Search},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Neural Information Processing Systems (NeurIPS)},
pages = {760--771},
year = {2019}
}
@inproceedings{dong2019one,
title = {One-Shot Neural Architecture Search via Self-Evaluated Template Network},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Proceedings of the IEEE International Conference on Computer Vision (ICCV)},
pages = {3681--3690},
year = {2019}
}
@inproceedings{dong2019search,
title = {Searching for A Robust Neural Architecture in Four GPU Hours},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
pages = {1761--1770},
year = {2019}
}
このレポに貢献したい場合は、converting.mdをご覧ください。その上、Code-of-conduct.mdに従ってください。
Pythonコードフォーマッタにはblack使用しています。 black . -l 88 。
コードベース全体がMITライセンスの下にあります。