AutoDL
v1.0
Bahasa Inggris |
Autodl Challenge@Neurips Challenge, lihat Kompetisi AutoDl untuk detailnya.
Autodl berfokus pada algoritma umum yang secara otomatis melakukan klasifikasi multi-label modalitas sewenang-wenang (gambar, video, suara, teks, data tabel) dapat menggunakan serangkaian aliran algoritma standar untuk menyelesaikan masalah klasifikasi kompleks di dunia nyata, dan memecahkan Penyesuaian data, fitur, model, untuk masalah seperti super-parameter, Anda dapat membuat classifier dengan kinerja yang sangat baik hanya dalam 10 detik. Proyek ini telah mencapai hasil yang sangat baik dalam 24 set data offline dan 15 set data online di berbagai bidang . Autodl memiliki fitur berikut:
☕Full -Automatic : Kerangka pembelajaran mendalam/pembelajaran mesin yang sepenuhnya otomatis, tidak diperlukan intervensi manual untuk seluruh proses. Semua detail data, fitur, dan model telah disesuaikan dengan yang terbaik, dan masalah pembatasan sumber daya, kemiringan data, data kecil, rekayasa fitur, pemilihan model, optimasi struktur jaringan, dan pencarian hiperparameter telah dipecahkan secara seragam. Siapkan saja data, mulailah Autodl, dan nikmati secangkir kopi .
Universitas : Mendukung modalitas sewenang-wenang , termasuk gambar, video, audio, teks dan data tabular terstruktur, dan mendukung masalah klasifikasi multi-label , termasuk klasifikasi biner, multi-klasifikasi, dan klasifikasi multi-label. Ini telah mencapai hasil yang sangat baik di bidang yang berbeda , seperti pengakuan pejalan kaki, pengenalan tindakan pejalan kaki, pengenalan wajah, pengakuan voiceprint, klasifikasi musik, klasifikasi aksen, klasifikasi bahasa, klasifikasi emosi, klasifikasi email, klasifikasi berita, optimasi iklan, sistem rekomendasi, pencarian mesin, pemasaran presisi, dll.
Hasil yang luar biasa : Kompetisi Autodl memenangkan program juara yang luar biasa, termasuk dukungan untuk model pembelajaran mesin tradisional dan model pembelajaran mendalam terbaru. Model Library mencakup model juara yang disukai dari LR/SVM/LGB/CGB/XGB ke ResNet*/MC3/DNN/Thinresnet*/TextCnn/rcnn/gru/Bert dan sebagainya.
⚡Extreme Speed/Real-Time : Dapatkan kinerja model kompetitif secepat sepuluh detik. Hasilnya disegarkan secara real time (detik) dan Anda bisa mendapatkan umpan balik real-time pada model tanpa menunggu.
Daftar pendahuluan (Deepwisdom peringkat pertama secara total, dengan peringkat rata -rata 1,2, dan memenangkan 4 pertama dalam 5 set data) 
Daftar Final (Deepwisdom peringkat pertama secara total, dengan peringkat rata -rata 1,8, dan peringkat 7 pertama dalam 10 set data) 
Lingkungan dasar
python > =3.5
CUDA 10
cuDNN 7.5Gudang Klon
cd <path_to_your_directory>
git clone https://github.com/DeepWisdom/AutoDL.git
Model pra-terlatih untuk mengunduh model pidato_model.h5 dan memasukkannya ke dalam AutoDL_sample_code_submission/at_speech/pretrained_models/ direktori.
Opsional: Gunakan lingkungan Docker yang disinkronkan dengan kompetisi
cd path/to/autodl/
docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:cpu-latest
nvidia-docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:gpu-latest
Persiapan Dataset: Gunakan Dataset Sampel di AutoDL_sample_data , atau Batch Unduh Dataset Publik Kontes.
Lakukan pengujian lokal
python run_local_test.py
Tes lokal digunakan secara penuh. python run_local_test.py -dataset_dir='AutoDL_sample_data/miniciao' -code_dir='AutoDL_sample_code_submission' Anda dapat melihat halaman html untuk umpan balik kurva pembelajaran real -time di AutoDL_scoring_output/ direktori.
Untuk detailnya, silakan merujuk ke Autodl Challenge Resmi Starting_Kit.
Dapat dilihat bahwa di bawah set data dari lima mode yang berbeda, aliran algoritma Autodl telah mencapai efek penuh waktu yang sangat baik dan dapat mencapai akurasi yang sangat tinggi dalam waktu yang sangat singkat.
Repositori ini diuji pada Python 3.6+, Pytorch 1.3.1 dan TensorFlow 1.15.
Anda harus menginstal Autodl di lingkungan virtual. Jika Anda tidak terbiasa dengan lingkungan virtual, silakan lihat panduan pengguna.
Buat lingkungan virtual dengan versi python yang sesuai dan aktifkan.
start_env.batMiniconda3 yang terpasang cmd.exe " /K " . M iniconda3 S cripts a ctivate.bat . M iniconda3start_env.bat untuk menginstal autodl-gpu conda install pytorch==1.3.1
conda install torchvision -c pytorch
pip install autodl-gpupip install autodl-gpuUntuk instruksi, silakan merujuk ke Tes Efek Lokal Autodl untuk akses cepat, dan lihat contoh/run_local_test.py untuk contoh kode.
Lihat Klasifikasi Gambar Mulai Cepat, dan kode sampel ditampilkan dalam contoh/run_image_classification_example.py
Untuk instruksi, silakan merujuk ke klasifikasi video start cepat.
Untuk instruksi, silakan merujuk ke klasifikasi audio untuk akses cepat, dan misalnya kode, silakan merujuk ke contoh/run_speech_classification_example.py
Untuk panduan, lihat klasifikasi teks teks cepat ke tangan, dan lihat contoh kode dalam contoh/run_text_classification_example.py.
Untuk panduan, lihat Klasifikasi Tabel Mulai Cepat, dan lihat contoh/run_tabular_classification_example.py misalnya kode.
python download_public_datasets.py| # | Nama | Jenis | Domain | Ukuran | Sumber | Data (w/o label uji) | Label Uji |
|---|---|---|---|---|---|---|---|
| 1 | Munster | Gambar | Hwr | 18 MB | Mnist | munster.data | Munster.Solution |
| 2 | Kota | Gambar | Objek | 128 MB | CIFAR-10 | City.Data | City.Solution |
| 3 | Chucky | Gambar | Objek | 128 MB | CIFAR-100 | chucky.data | Chucky.solution |
| 4 | Pedro | Gambar | Rakyat | 377 MB | PA-100K | Pedro.data | Pedro.Solution |
| 5 | Stiker | Gambar | Udara | 73 MB | NWPU VHR-10 | decal.data | decal.solution |
| 6 | Palu | Gambar | Medis | 111 MB | Ham10000 | Hammer.data | hammer.solution |
| 7 | Kreatur | Video | Tindakan | 469 MB | KTH | kreatur.data | Kreatur.Solution |
| 8 | Kreatur3 | Video | Tindakan | 588 MB | KTH | kreatur3.data | kreatur3.solution |
| 9 | Kraut | Video | Tindakan | 1,9 GB | KTH | krraut.data | Kraut.Solution |
| 10 | Katze | Video | Tindakan | 1,9 GB | KTH | Katze.data | Katze.Solution |
| 11 | data01 | Pidato | Pembicara | 1,8 GB | - | data01.data | Data01.Solution |
| 12 | data02 | Pidato | Emosi | 53 MB | - | data02.data | data02.solution |
| 13 | data03 | Pidato | Aksen | 1,8 GB | - | data03.data | data03.solution |
| 14 | data04 | Pidato | Genre | 469 MB | - | data04.data | data04.Solution |
| 15 | data05 | Pidato | Bahasa | 208 MB | - | data05.data | data05.solution |
| 16 | O1 | Teks | Komentar | 828 kb | - | O1.data | O1.solution |
| 17 | O2 | Teks | Emosi | 25 MB | - | O2.data | O2.solution |
| 18 | O3 | Teks | Berita | 88 MB | - | O3.data | O3.solution |
| 19 | O4 | Teks | Spam | 87 MB | - | O4.data | O4.solution |
| 20 | O5 | Teks | Berita | 14 MB | - | O5.data | O5.solution |
| dua puluh satu | Dewasa | Datar | Sensus | 2 MB | Dewasa | dewasa.data | Dewasa. Solusi |
| dua puluh dua | Dilbert | Datar | - | 162 MB | - | Dilbert.Data | Dilbert.Solution |
| dua puluh tiga | Digit | Datar | Hwr | 137 MB | Mnist | digit.data | digit.solution |
| Dua Puluh Empat | Madeline | Datar | - | 2.6 MB | - | madeline.data | Madeline.Solution |
❤️ Harap jangan ragu untuk berpartisipasi dalam kontribusi membuka masalah atau mengirimkan PRS.
Lisensi Apache 2.0
