Proyek pembelajaran mendalam otomatis (Autodl-Projects) adalah proyek open source, ringan, tetapi berguna untuk semua orang. Proyek ini mengimplementasikan beberapa algoritma Pencarian Arsitektur Saraf (NAS) dan Hyper-Parameter Optimization (HPO). 中文介绍见 readme_cn.md
Siapa yang harus mempertimbangkan untuk menggunakan proyek autodl
Mengapa kita harus menggunakan proyek autodl
Pada saat ini, proyek ini menyediakan algoritma dan skrip berikut untuk menjalankannya. Silakan lihat detail di tautan yang disediakan di kolom deskripsi.
| Jenis | Abbrv | Algoritma | Keterangan |
|---|---|---|---|
| Nas | Tas | Pemangkasan jaringan melalui pencarian arsitektur yang dapat ditransformasikan | Neurips-2019-Tas.md |
| PANAHAN | Anak panah: Pencarian Arsitektur yang Dapat Diferensial | ICLR-2019-DARTS.MD | |
| GDA | Mencari arsitektur saraf yang kuat dalam empat jam GPU | CVPR-2019-GDAS.MD | |
| Setn | Pencarian arsitektur saraf satu-shot melalui jaringan template yang dievaluasi sendiri | ICCV-2019-SETN.MD | |
| NAS-Bench-201 | NAS-BENCH-201: Memperluas ruang lingkup pencarian arsitektur saraf yang dapat direproduksi | Nas-bench-201.md | |
| Nats-Bench | Nats-Bench: Algoritma NAS Benchmarking untuk Topologi dan Ukuran Arsitektur | Nats-bench.md | |
| ... | ENAS / REA / BERPORTAK / BOHB | Silakan periksa kertas asli | Nas-bench-201.md nats-bench.md |
| HPO | HPO-CG | Optimalisasi hyperparameter dengan perkiraan gradien | segera hadir |
| Dasar | Resnet | Klasifikasi gambar berbasis pembelajaran yang mendalam | Baseline.md |
Pertama -tama , silakan gunakan pip install . untuk menginstal perpustakaan xautodl .
Harap instal Python>=3.6 dan PyTorch>=1.5.0 . (Anda bisa menggunakan Python dan Pytorch versi yang lebih rendah, tetapi mungkin memiliki bug). Beberapa kode visualisasi mungkin memerlukan opencv .
Cifar dan Imagenet harus diunduh dan diekstraksi ke $TORCH_HOME . Beberapa metode menggunakan distilasi pengetahuan (KD), yang membutuhkan model pra-terlatih. Silakan unduh model-model ini dari Google Drive (atau latih sendiri) dan simpan ke .latent-data .
Tolong gunakan
git clone --recurse-submodules https://github.com/D-X-Y/AutoDL-Projects.git XAutoDL
untuk mengunduh repo ini dengan submodules.
Jika Anda menemukan bahwa proyek ini membantu penelitian Anda, silakan pertimbangkan mengutip makalah terkait:
@inproceedings{dong2021autohas,
title = {{AutoHAS}: Efficient Hyperparameter and Architecture Search},
author = {Dong, Xuanyi and Tan, Mingxing and Yu, Adams Wei and Peng, Daiyi and Gabrys, Bogdan and Le, Quoc V},
booktitle = {2nd Workshop on Neural Architecture Search at International Conference on Learning Representations (ICLR)},
year = {2021}
}
@article{dong2021nats,
title = {{NATS-Bench}: Benchmarking NAS Algorithms for Architecture Topology and Size},
author = {Dong, Xuanyi and Liu, Lu and Musial, Katarzyna and Gabrys, Bogdan},
doi = {10.1109/TPAMI.2021.3054824},
journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
year = {2021},
note = {mbox{doi}:url{10.1109/TPAMI.2021.3054824}}
}
@inproceedings{dong2020nasbench201,
title = {{NAS-Bench-201}: Extending the Scope of Reproducible Neural Architecture Search},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {International Conference on Learning Representations (ICLR)},
url = {https://openreview.net/forum?id=HJxyZkBKDr},
year = {2020}
}
@inproceedings{dong2019tas,
title = {Network Pruning via Transformable Architecture Search},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Neural Information Processing Systems (NeurIPS)},
pages = {760--771},
year = {2019}
}
@inproceedings{dong2019one,
title = {One-Shot Neural Architecture Search via Self-Evaluated Template Network},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Proceedings of the IEEE International Conference on Computer Vision (ICCV)},
pages = {3681--3690},
year = {2019}
}
@inproceedings{dong2019search,
title = {Searching for A Robust Neural Architecture in Four GPU Hours},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
pages = {1761--1770},
year = {2019}
}
Jika Anda ingin berkontribusi pada repo ini, silakan lihat Contributing.md. Selain itu, ikuti kode-conduct.md.
Kami menggunakan Formatter Kode Python black untuk Python. Tolong gunakan black . -l 88 .
Seluruh basis kode berada di bawah lisensi MIT.