awesome AutoML and Lightweight Models

Model Automl-and-Lightweight yang mengagumkan

Daftar AUMOML Works berkualitas tinggi (terbaru) dan model ringan termasuk 1.) Pencarian Arsitektur Saraf , 2.) Struktur ringan , 3.) Model kompresi, kuantisasi dan akselerasi , 4.) Optimalisasi hiperparameter , 5.) Rekayasa fitur otomatis .

Repo ini bertujuan untuk memberikan info untuk penelitian Automl (terutama untuk model ringan). Selamat datang di PR karya (makalah, repositori) yang terlewatkan oleh repo.

1.) Pencarian Arsitektur Saraf

[Dokumen]

Gradien:

• Ketika NAS bertemu dengan ketahanan: mencari arsitektur yang kuat terhadap serangan permusuhan | [ CVPR 2020 ]

  • GMH14/Robnets | [Pytorch]

• Mencari arsitektur saraf yang kuat dalam empat jam GPU | [ CVPR 2019 ]

  • DXY/GDA | [Pytorch]

• ASAP: Pencarian Arsitektur, Anneal dan Prune | [2019/04]

• NAS Single-Path: Mendesain ConvNets Hardware-Efficient Dalam Kurang Dari 4 Jam | [2019/04]

  • dstamoulis/single-path-nas | [TensorFlow]

• Arsitektur saraf konvolusional otomatis Pencarian untuk klasifikasi gambar di bawah adegan yang berbeda | [ IEEE Access 2019 ]

• SharpDarts: Pencarian Arsitektur yang Dapat Differensial Lebih Cepat dan Lebih Akurat | [2019/03]

• Belajar secara implisit CNNs berulang melalui berbagi parameter | [ ICLR 2019 ]

  • LOLEMACS/BERBAGI SOFT | [Pytorch]

• Pencarian Arsitektur Saraf Probabilistik | [2019/02]

• AUTO-DEEPLAB: Arsitektur saraf hierarkis Pencarian untuk segmentasi gambar semantik | [2019/01]

• SNAS: pencarian arsitektur saraf stokastik | [ ICLR 2019 ]

• FBNET: Desain Convnet Efisien Hardware-Aware melalui pencarian arsitektur saraf yang dapat dibedakan | [2018/12]

• Optimalisasi Arsitektur Saraf | [ NIPS 2018 ]

  • renqianluo/nao | [TensorFlow]

• DART: Pencarian Arsitektur yang Dapat Diferensial | [2018/06]

  • QUARK0/DARTS | [Pytorch]
  • khanrc/pt.darts | [Pytorch]
  • Dragen1860/Darts-Pytorch | [Pytorch]

Pembelajaran Penguatan:

• Pencarian otomatis berbasis template dari arsitektur segmentasi semantik kompak | [2019/04]

• Memahami Teknik Pencarian Arsitektur Saraf | [2019/03]

• Super-resolusi yang cepat, akurat dan ringan dengan pencarian arsitektur saraf | [2019/01]

  • falsr/falsr | [TensorFlow]

• Evolusi Bertulang multi-objektif dalam pencarian arsitektur saraf seluler | [2019/01]

  • Moremnas/Moremnas | [TensorFlow]

• ProxylessNas: Pencarian Arsitektur Saraf Langsung pada Tugas Target dan Perangkat Keras | [ ICLR 2019 ]

  • Mit-han-lab/proxylessnas | [Pytorch, TensorFlow]

• Transfer Pembelajaran dengan Neural Automl | [ NIPS 2018 ]

• Belajar Arsitektur yang dapat ditransfer untuk pengenalan gambar yang dapat diskalakan | [2018/07]

  • Wandering007/nasnet-pytorch | [Pytorch]
  • TensorFlow/Model/Research/Slim/Nets/Nasnet | [TensorFlow]

• MNASNET: Pencarian arsitektur saraf platform-sadar untuk ponsel | [2018/07]

  • Anjiezheng/mnasnet-pytorch | [Pytorch]

• Pembuatan Arsitektur Jaringan Neural Praktis-bijaksana | [ CVPR 2018 ]

• Pencarian Arsitektur Saraf yang Efisien Melalui Parameter Berbagi | [ ICML 2018 ]

  • Melodyguan/ENAS | [TensorFlow]
  • CarpedM20/ENAS-PYTORCH | [Pytorch]

• Pencarian Arsitektur yang Efisien berdasarkan Transformasi Jaringan | [ AAAI 2018 ]

Algoritma Evolusi:

• Pencarian arsitektur saraf One-Shot Single dengan Seragam Sampling | [2019/04]

• Detnas: Pencarian Arsitektur Saraf pada Deteksi Objek | [2019/03]

• Transformator yang Berkembang | [2019/01]

• Merancang Jaringan Saraf melalui Neuroevolution | [ Nature Machine Intelligence 2019 ]

• EAT-NAS: Transfer Arsitektur Elastis untuk mempercepat pencarian arsitektur saraf skala besar | [2019/01]

• Pencarian arsitektur saraf multi-objektif yang efisien melalui Lamarckian Evolution | [ ICLR 2019 ]

SMBO:

• MFAS: Pencarian Arsitektur Fusi Multimodal | [ CVPR 2019 ]

• DPP-NET: Pencarian progresif perangkat-AWARE untuk arsitektur saraf pareto-optimal | [ ECCV 2018 ]

• Pencarian Arsitektur Saraf Progresif | [ ECCV 2018 ]

  • TUTU1994/Progressive-Neural-Architecture-Search | [Keras, Tensorflow]
  • chenxi116/pnasnet.pytorch | [Pytorch]

Pencarian acak:

• Menjelajahi jaringan saraf kabel secara acak untuk pengenalan gambar | [2019/04]

• Mencari arsitektur multi-skala yang efisien untuk prediksi gambar padat | [ NIPS 2018 ]

Hypernetwork:

• Grafik HyperNetWorks untuk Pencarian Arsitektur Saraf | [ ICLR 2019 ]

Optimalisasi Bayesian:

• Transfer induktif untuk optimasi arsitektur saraf | [2019/03]

Pemangkasan pesanan parsial

• Pemangkasan Pesanan Parsial: Untuk trade-off kecepatan/akurasi terbaik dalam pencarian arsitektur saraf | [ CVPR 2019 ]
  • lixincn2015/parsial-order-pruning | [Caffe]

Distilasi Pengetahuan

• Meningkatkan pengklasifikasi gambar pencarian arsitektur saraf melalui pembelajaran ensemble | [2019/03]

[Proyek]

• Microsoft/NNI | [Python]
• Mindsdb | [Python]

2.) Struktur ringan

[Dokumen]

Klasifikasi Gambar:

• EfficientNet: Memikirkan kembali penskalaan model untuk jaringan saraf konvolusional | [ ICML 2019 ]

  • TensorFlow/TPU/Model/Resmi/EfficientNet/| [TensorFlow]
  • lukemelas/efisiensinet-pytorch | [Pytorch]

• Mencari MobileNetv3 | [2019/05]

  • Kuan-Wang/Pytorch-Mobilenet-V3 | [Pytorch]
  • leadeJ1001/mobileNetv3-pytorch | [Pytorch]

Segmentasi semantik:

• CGNET: Jaringan Dipandu Konteks Berbobol Ringan untuk Segmentasi Semantik | [2019/04]

  • wutianyirosun/cgnet | [Pytorch]

• ESPNETV2: Jaringan saraf konvolusional yang ringan, hemat daya, dan tujuan umum | [2018/11]

  • sacmehta/espnetv2 | [Pytorch]

• ESPNET: Piramida spasial yang efisien dari konvolusi melebar untuk segmentasi semantik | [ ECCV 2018 ]

  • sacmehta/espnet | [Pytorch]

• BISENET: Jaringan Segmentasi Bilateral untuk Segmentasi Semantik Waktu Nyata | [ ECCV 2018 ]

  • OOOOVERFLOW/BISENET | [Pytorch]
  • ycszen/torchseg | [Pytorch]

• ERFNET: Konvnet faktor residual yang efisien untuk segmentasi semantik waktu nyata | [ T-ITS 2017 ]

  • Eromera/erfnet_pytorch | [Pytorch]

Deteksi Objek:

• Thundernet: Menuju Deteksi Objek Generik Real-Time | [2019/03]

• Pooling Jaringan Piramida untuk Deteksi Objek | [2018/09]

  • TensorFlow/Model | [TensorFlow]

• Tiny-DSOD: Deteksi objek ringan untuk penggunaan sumber daya yang dibatasi | [ BMVC 2018 ]

  • Lyxok1/Tiny-DSOD | [Caffe]

• Pelee: Sistem deteksi objek real-time pada perangkat seluler | [ Neurips 2018 ]

  • Robert-Junwang/Pelee | [Caffe]
  • Robert-Junwang/Peleenet | [Pytorch]

• Net blok bidang reseptif untuk deteksi objek yang akurat dan cepat | [ ECCV 2018 ]

  • RuinMessi/rfbnet | [Pytorch]
  • Shuangxieirene/ssds.pytorch | [Pytorch]
  • LZX1413/PYTORCHSSD | [Pytorch]

• FSSD: Fitur Fusion Single Shot Multibox Detector | [2017/12]

  • Shuangxieirene/ssds.pytorch | [Pytorch]
  • LZX1413/PYTORCHSSD | [Pytorch]
  • DLYLDXWL/FSSD.PyTorch | [Pytorch]

• Fitur jaringan piramida untuk deteksi objek | [ CVPR 2017 ]

  • TensorFlow/Model | [TensorFlow]

3.) Model Kompresi & Akselerasi

[Dokumen]

Pemangkasan:

• Hipotesis Tiket Lotere: Menemukan Jaringan Saraf yang Jarang dan Dapat Dilatih | [ ICLR 2019 ]

  • Google-Research/Lotre-Ticket-Hypothesis | [TensorFlow]

• Memikirkan kembali nilai pemangkasan jaringan | [ ICLR 2019 ]

• Jaringan saraf yang ramping | [ ICLR 2019 ]

  • Jiahuiyu/slimmable_networks | [Pytorch]

• AMC: Automl untuk kompresi model dan akselerasi pada perangkat seluler | [ ECCV 2018 ]

  • Automl for Model Compression (AMC): Trials and Tribulations | [Pytorch]

• Belajar jaringan konvolusional yang efisien melalui Slimming Network | [ ICCV 2017 ]

  • Foolwood/Pytorch-Slimming | [Pytorch]

• Saluran pemangkasan untuk mempercepat jaringan saraf yang sangat dalam | [ ICCV 2017 ]

  • yihui-he/channel-pruning | [Caffe]

• Jaringan saraf konvolusional pemangkasan untuk inferensi efisien sumber daya | [ ICLR 2017 ]

  • Jacobgil/Pytorch-Pruning | [Pytorch]

• Filter pemangkasan untuk konvnet yang efisien | [ ICLR 2017 ]

Kuantisasi:

• Memahami Estimator Lurus dalam Aktivasi Pelatihan Kuantisasi Nets Nets | [ ICLR 2019 ]

• Kuantisasi dan Pelatihan Jaringan Saraf untuk Inferensi Integer-Arker-Areatmetika yang Efisien | [ CVPR 2018 ]

• Kuantisasi Jaringan Konvolusional dalam untuk Inferensi Efisien: Whitepaper | [2018/06]

• Pakta: Aktivasi kliping parameter untuk jaringan saraf terkuantisasi | [2018/05]

• Kuantisasi 4-bit-bit-pelatihan jaringan konvolusi untuk penempatan cepat | [ ICML 2018 ]

• WRPN: Jaringan presisi tereduksi luas | [ ICLR 2018 ]

• Kuantisasi jaringan tambahan: Menuju CNN lossless dengan bobot presisi rendah | [ ICLR 2017 ]

• DOREFA-NET: Melatih jaringan saraf konvolusional bitwidth rendah dengan gradien bitwidth rendah | [2016/06]

• Memperkirakan atau merambat gradien melalui neuron stokastik untuk komputasi bersyarat | [2013/08]

Distilasi Pengetahuan

• Apprentice: Menggunakan teknik distilasi pengetahuan untuk meningkatkan akurasi jaringan presisi rendah | [ ICLR 2018 ]

• Kompresi model melalui distilasi dan kuantisasi | [ ICLR 2018 ]

Percepatan:

• Algoritma Cepat untuk Jaringan Saraf Convolutional | [ CVPR 2016 ]
  • Andravin/Wincnn | [Python]

[Proyek]

• NervanaSystems/Distiller | [Pytorch]
• Tencent/Pocketflow | [TensorFlow]
• Aaron-Xichen/Pytorch-Playground | [Pytorch]

[Tutorial/blog]

• Memperkenalkan Tantangan Kecerdasan Visual CVPR 2018

4.) Optimalisasi hyperparameter

[Dokumen]

• Tuning hyperparameters tanpa mahasiswa pascasarjana: optimasi Bayesian yang dapat diskalakan dan kuat dengan capung | [2019/03]

  • capung/capung

• Optimalisasi Bayesian dimensi tinggi yang efisien dengan aditivitas dan fitur Fourier quadrature | [ Neurips 2018 ]

• Google Vizier: Layanan untuk Optimasi Kotak Hitam | [ SIGKDD 2017 ]

• On Hyperparameter Optimalisasi Algoritma Pembelajaran Mesin: Teori dan Praktek | [ Neurocomputing 2020 ]

  • Liyanghart/hyperparameter-optimization-of-machine-learning-algoritma

[Proyek]

• Botorch | [Pytorch]
• AX (Platform Eksperimen Adaptif) | [Pytorch]
• Microsoft/NNI | [Python]
• capung/capung | [Python]
• Liyanghart/hyperparameter-optimization-of-machine-learning-algoritma | [Python]

[Tutorial/blog]

• Penyetelan hiperparameter di mesin pembelajaran mesin cloud menggunakan optimasi Bayesian

• Tinjauan Optimalisasi Bayesian

• Optimalisasi Bayesian

  • Krasserm/Bayesian-Machine-Learning | [Python]

5.) Rekayasa Fitur Otomatis

Model Analyzer

• Netscope CNN Analyzer | [Caffe]

• SKSQ96/Pytorch-Summary | [Pytorch]

• Lyken17/pytorch-opcounter | [Pytorch]

• sovrasov/flops-counter.pytorch | [Pytorch]

Referensi

• Sastra tentang Pencarian Arsitektur Saraf
• handong1587/handong1587.github.io
• Hibayesian/Awesome-Automl-Papers
• Mrloom/Awesome-Semantic-Semmentation
• amusi/deteksi objek yang luar biasa