AutoDL
v1.0
English | 簡體中文
AutoDL Challenge@NeurIPS 冠軍方案，競賽細節參見AutoDL Competition。
AutoDL聚焦於自動進行任意模態（圖像、視頻、語音、文本、表格數據）多標籤分類的通用算法，可以用一套標準算法流解決現實世界的複雜分類問題，解決調數據、特徵、模型、超參等煩惱，最短10秒就可以做出性能優異的分類器。本工程在不同領域的24個離線數據集、15個線上數據集都獲得了極為優異的成績。 AutoDL擁有以下特性：
☕全自動：全自動深度學習/機器學習框架，全流程無需人工干預。數據、特徵、模型的所有細節都已調節至最佳，統一解決了資源受限、數據傾斜、小數據、特徵工程、模型選型、網絡結構優化、超參搜索等問題。只需要準備數據，開始AutoDL，然後喝一杯咖啡。
?通用性：支持任意模態，包括圖像、視頻、音頻、文本和結構化表格數據，支持任意多標籤分類問題，包括二分類、多分類、多標籤分類。它在不同領域都獲得了極其優異的成績，如行人識別、行人動作識別、人臉識別、聲紋識別、音樂分類、口音分類、語言分類、情感分類、郵件分類、新聞分類、廣告優化、推薦系統、搜索引擎、精準營銷等等。
?效果出色：AutoDL競賽獲得壓倒性優勢的冠軍方案，包含對傳統機器學習模型和最新深度學習模型支持。模型庫包括從LR/SVM/LGB/CGB/XGB到ResNet*/MC3/DNN/ThinResnet*/TextCNN/RCNN/GRU/BERT等優選出的冠軍模型。
⚡極速/實時：最快只需十秒即可獲得極具競爭力的模型性能。結果實時刷新（秒級），無需等待即可獲得模型實時效果反饋。
預賽榜單（DeepWisdom總分第一，平均排名1.2，在5個數據集中取得了4項第一） 
決賽榜單（DeepWisdom總分第一，平均排名1.8，在10個數據集中取得了7項第一） 
基礎環境
python > =3.5
CUDA 10
cuDNN 7.5clone倉庫
cd <path_to_your_directory>
git clone https://github.com/DeepWisdom/AutoDL.git
AutoDL_sample_code_submission/at_speech/pretrained_models/目錄。
可選：使用與競賽同步的docker環境
cd path/to/autodl/
docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:cpu-latest
nvidia-docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:gpu-latest
數據集準備：使用AutoDL_sample_data中樣例數據集，或批量下載競賽公開數據集。
進行本地測試
python run_local_test.py
本地測試完整使用。 python run_local_test.py -dataset_dir='AutoDL_sample_data/miniciao' -code_dir='AutoDL_sample_code_submission'您可在AutoDL_scoring_output/目錄中查看實時學習曲線反饋的HTML頁面。
細節可參考AutoDL Challenge official starting_kit.
可以看出，在五個不同模態的數據集下，AutoDL算法流都獲得了極為出色的全時期效果，可以在極短的時間內達到極高的精度。
本倉庫在Python 3.6+, PyTorch 1.3.1 和TensorFlow 1.15上測試.
你應該在虛擬環境中安裝autodl。 如果對虛擬環境不熟悉，請看用戶指導.
用合適的Python版本創建虛擬環境，然後激活它。
start_env.bat文件Miniconda3同級目錄下cmd.exe " /K " . M iniconda3 S cripts a ctivate.bat . M iniconda3start_env.bat安裝autodl-gpu conda install pytorch==1.3.1
conda install torchvision -c pytorch
pip install autodl-gpupip install autodl-gpu指導參見快速上手之AutoDL本地效果測試，樣例代碼參見examples/run_local_test.py
參見快速上手之圖像分類，樣例代碼參見examples/run_image_classification_example.py
指導參見快速上手之視頻分類，樣例代碼參見examples/run_video_classification_example.py
指導參見快速上手之音頻分類，樣例代碼參見examples/run_speech_classification_example.py
指導參見快速上手之文本分類，樣例代碼參見examples/run_text_classification_example.py。
指導參見快速上手之表格分類，樣例代碼參見examples/run_tabular_classification_example.py.
python download_public_datasets.py| # | Name | Type | Domain | Size | Source | Data (w/o test labels) | Test labels |
|---|---|---|---|---|---|---|---|
| 1 | Munster | Image | HWR | 18 MB | MNIST | munster.data | munster.solution |
| 2 | City | Image | Objects | 128 MB | Cifar-10 | city.data | city.solution |
| 3 | Chucky | Image | Objects | 128 MB | Cifar-100 | chucky.data | chucky.solution |
| 4 | Pedro | Image | People | 377 MB | PA-100K | pedro.data | pedro.solution |
| 5 | Decal | Image | Aerial | 73 MB | NWPU VHR-10 | decal.data | decal.solution |
| 6 | Hammer | Image | Medical | 111 MB | Ham10000 | hammer.data | hammer.solution |
| 7 | Kreatur | Video | Action | 469 MB | KTH | kreatur.data | kreatur.solution |
| 8 | Kreatur3 | Video | Action | 588 MB | KTH | kreatur3.data | kreatur3.solution |
| 9 | Kraut | Video | Action | 1.9 GB | KTH | kraut.data | kraut.solution |
| 10 | Katze | Video | Action | 1.9 GB | KTH | katze.data | katze.solution |
| 11 | data01 | Speech | Speaker | 1.8 GB | -- | data01.data | data01.solution |
| 12 | data02 | Speech | Emotion | 53 MB | -- | data02.data | data02.solution |
| 13 | data03 | Speech | Accent | 1.8 GB | -- | data03.data | data03.solution |
| 14 | data04 | Speech | Genre | 469 MB | -- | data04.data | data04.solution |
| 15 | data05 | Speech | Language | 208 MB | -- | data05.data | data05.solution |
| 16 | O1 | Text | Comments | 828 KB | -- | O1.data | O1.solution |
| 17 | O2 | Text | Emotion | 25 MB | -- | O2.data | O2.solution |
| 18 | O3 | Text | News | 88 MB | -- | O3.data | O3.solution |
| 19 | O4 | Text | Spam | 87 MB | -- | O4.data | O4.solution |
| 20 | O5 | Text | News | 14 MB | -- | O5.data | O5.solution |
| 21 | Adult | Tabular | Census | 2 MB | Adult | adult.data | adult.solution |
| 22 | Dilbert | Tabular | -- | 162 MB | -- | dilbert.data | dilbert.solution |
| 23 | Digits | Tabular | HWR | 137 MB | MNIST | digits.data | digits.solution |
| 24 | Madeline | Tabular | -- | 2.6 MB | -- | madeline.data | madeline.solution |
❤️ 請毫不猶豫參加貢獻Open an issue 或提交PRs。
Apache License 2.0
