โครงการเรียนรู้เชิงลึกอัตโนมัติ (โครงการ Autodl) เป็นโครงการโอเพ่นซอร์สน้ำหนักเบา แต่มีประโยชน์สำหรับทุกคน โครงการนี้ใช้การค้นหาสถาปัตยกรรมระบบประสาทหลาย (NAS) และอัลกอริทึมการเพิ่มประสิทธิภาพพารามิเตอร์ไฮเปอร์พารามิเตอร์ (HPO) 中文介绍见 readme_cn.md
ใครควรพิจารณาใช้โครงการอัตโนมัติ
ทำไมเราควรใช้โครงการ AutoDL
ในขณะนี้โครงการนี้ให้อัลกอริทึมและสคริปต์ต่อไปนี้เพื่อเรียกใช้ โปรดดูรายละเอียดในลิงค์ที่ให้ไว้ในคอลัมน์คำอธิบาย
| พิมพ์ | abbrv | อัลกอริทึม | คำอธิบาย |
|---|---|---|---|
| Nas | TAS | การตัดแต่งเครือข่ายผ่านการค้นหาสถาปัตยกรรมที่แปลงได้ | Neurips-2019-Tas.md |
| ลูกดอก | ปาเป้า: การค้นหาสถาปัตยกรรมที่แตกต่างกัน | ICLR-2019-DARTS.MD | |
| GDAs | ค้นหาสถาปัตยกรรมประสาทที่แข็งแกร่งในสี่ชั่วโมง GPU | CVPR-2019-GDAS.MD | |
| ตั้งค่า | การค้นหาสถาปัตยกรรมประสาทแบบหนึ่งครั้งผ่านเครือข่ายเทมเพลตที่ประเมินตนเอง | ICCV-2019-Setn.md | |
| NAS-BENCH-201 | NAS-BENCH-201: ขยายขอบเขตของการค้นหาสถาปัตยกรรมประสาทที่ทำซ้ำได้ | NAS-BENCH-201.MD | |
| นัตส์-บัลลังก์ | Nats-Bench: การเปรียบเทียบอัลกอริทึม NAS สำหรับโทโพโลยีและขนาดของสถาปัตยกรรม | nats-bench.md | |
| - | enas / rea / renforce / bohb | โปรดตรวจสอบเอกสารต้นฉบับ | NAS-BENCH-201.MD NATS-BENCH.MD |
| HPO | HPO-CG | การเพิ่มประสิทธิภาพแบบไฮเปอร์พารามิเตอร์ด้วยการไล่ระดับสีโดยประมาณ | เร็วๆ นี้ |
| ขั้นพื้นฐาน | resnet | การจำแนกภาพที่ใช้การเรียนรู้อย่างลึกซึ้ง | baseline.md |
ก่อนอื่น โปรดใช้ pip install . ในการติดตั้งไลบรารี xautodl
โปรดติดตั้ง Python>=3.6 และ PyTorch>=1.5.0 (คุณสามารถใช้ Python และ Pytorch รุ่นที่ต่ำกว่าได้ แต่อาจมีข้อบกพร่อง) รหัสการสร้างภาพบางอย่างอาจต้องใช้ opencv
ควรดาวน์โหลดและแยก Cifar และ Imagenet เป็น $TORCH_HOME บางวิธีใช้การกลั่นความรู้ (KD) ซึ่งต้องการแบบจำลองที่ผ่านการฝึกอบรมมาก่อน โปรดดาวน์โหลดรุ่นเหล่านี้จาก Google Drive (หรือฝึกอบรมด้วยตัวเอง) และบันทึกลงใน .latent-data
กรุณาใช้
git clone --recurse-submodules https://github.com/D-X-Y/AutoDL-Projects.git XAutoDL
เพื่อดาวน์โหลด repo นี้ด้วย submodules
หากคุณพบว่าโครงการนี้ช่วยวิจัยของคุณโปรดพิจารณาอ้างถึงบทความที่เกี่ยวข้อง:
@inproceedings{dong2021autohas,
title = {{AutoHAS}: Efficient Hyperparameter and Architecture Search},
author = {Dong, Xuanyi and Tan, Mingxing and Yu, Adams Wei and Peng, Daiyi and Gabrys, Bogdan and Le, Quoc V},
booktitle = {2nd Workshop on Neural Architecture Search at International Conference on Learning Representations (ICLR)},
year = {2021}
}
@article{dong2021nats,
title = {{NATS-Bench}: Benchmarking NAS Algorithms for Architecture Topology and Size},
author = {Dong, Xuanyi and Liu, Lu and Musial, Katarzyna and Gabrys, Bogdan},
doi = {10.1109/TPAMI.2021.3054824},
journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
year = {2021},
note = {mbox{doi}:url{10.1109/TPAMI.2021.3054824}}
}
@inproceedings{dong2020nasbench201,
title = {{NAS-Bench-201}: Extending the Scope of Reproducible Neural Architecture Search},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {International Conference on Learning Representations (ICLR)},
url = {https://openreview.net/forum?id=HJxyZkBKDr},
year = {2020}
}
@inproceedings{dong2019tas,
title = {Network Pruning via Transformable Architecture Search},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Neural Information Processing Systems (NeurIPS)},
pages = {760--771},
year = {2019}
}
@inproceedings{dong2019one,
title = {One-Shot Neural Architecture Search via Self-Evaluated Template Network},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Proceedings of the IEEE International Conference on Computer Vision (ICCV)},
pages = {3681--3690},
year = {2019}
}
@inproceedings{dong2019search,
title = {Searching for A Robust Neural Architecture in Four GPU Hours},
author = {Dong, Xuanyi and Yang, Yi},
booktitle = {Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
pages = {1761--1770},
year = {2019}
}
หากคุณต้องการมีส่วนร่วมใน repo นี้โปรดดูการสนับสนุน นอกจากนี้โปรดติดตาม Code-of-conduct.md
เราใช้ black สำหรับ Formatter รหัส Python กรุณาใช้ black . -l 88 .
Codebase ทั้งหมดอยู่ภายใต้ใบอนุญาต MIT