AutoDL
v1.0
Английский |
AutoDL Challenge@Neurips Challenge, см. Конкурс AutoDL для деталей.
AutoDL фокусируется на общем алгоритме, который автоматически выполняет многокачественную классификацию произвольных модальностей (изображение, видео, голос, текст, табличные данные). Регулировка данных, функции, модели, для таких проблем, как суперпараметры, вы можете сделать классификатор с отличной производительностью всего за 10 секунд. Этот проект достиг чрезвычайно превосходных результатов в 24 наборах данных в автономном режиме и 15 наборов онлайн -данных в разных полях . AutoDL имеет следующие функции:
☕full -Automatic : Полностью автоматическое глубокое обучение/структуру машинного обучения, для всего процесса не требуется ручное вмешательство. Все детали данных, функций и моделей были скорректированы в лучшие результаты, а проблемы ограничения ресурсов, агрегата данных, небольших данных, разработки функций, выбора модели, оптимизации структуры сети и поиска гиперпараметрических Просто приготовьте данные, запустите AutoDL и добавьте чашку кофе .
? Он достиг чрезвычайно превосходных результатов в различных областях , таких как распознавание пешеходов, распознавание действий пешеходов, распознавание лица, распознавание голосовой отпечатки, классификация музыки, классификация акцентов, классификация языка, классификация эмоций, классификация электронной почты, классификация новостей, оптимизация рекламы, системы рекомендаций, поиск двигатели, точный маркетинг и т. Д.
Превосходные результаты : AutoDL конкурс выиграл непреодолимую чемпионку, включая поддержку традиционных моделей машинного обучения и новейшие модели глубокого обучения. Библиотека моделей включает в себя предпочтительные модели чемпионов от LR/SVM/LGB/CGB/XGB до RESNET*/MC3/DNN/THINRESNET*/TEXTCNN/RCNN/GRU/BERT и так далее.
⚡extreme Speed/в режиме реального времени : получите конкурентную модель производительность за десять секунд. Результаты обновляются в режиме реального времени (секунды), и вы можете получить отзыв в режиме реального времени по модели, не ожидая.
Предварительный список (DeepWisdom занял первое место, со средним рейтингом 1,2, и выиграл 4 первых в 5 наборах данных) 
Список финалов (DeepWisdom занял первое место, со средним рейтингом 1,8, и занял 7 первых в 10 наборах данных) 
Основная среда
python > =3.5
CUDA 10
cuDNN 7.5Клон склад
cd <path_to_your_directory>
git clone https://github.com/DeepWisdom/AutoDL.git
Предварительно обученная модель для загрузки модели speep_model.h5 и поместите ее в AutoDL_sample_code_submission/at_speech/pretrained_models/ DICELECTORY.
Необязательно: используйте среду Docker, синхронизированную с конкуренцией
cd path/to/autodl/
docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:cpu-latest
nvidia-docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:gpu-latest
Подготовка набора данных: используйте пример набора данных в AutoDL_sample_data или скачать общедоступный набор данных конкурса.
Выполнить локальное тестирование
python run_local_test.py
Местные тесты используются полностью. python run_local_test.py -dataset_dir='AutoDL_sample_data/miniciao' -code_dir='AutoDL_sample_code_submission' Вы можете просмотреть страницу HTML для обратной связи обучения в режиме реального времени в AutoDL_scoring_output/ helopory.
Для получения подробной информации, пожалуйста, обратитесь к OutoDL Challenge Official start_kit.
Можно видеть, что в рамках наборов данных пяти различных режимов потоки алгоритмов AutoDL достигли чрезвычайно превосходных эффектов на полный рабочий день и могут достичь чрезвычайно высокой точности за очень короткое время.
Этот репозиторий проверяется на Python 3.6+, Pytorch 1.3.1 и Tensorflow 1.15.
Вы должны установить AutoDL в виртуальной среде. Если вы не знакомы с виртуальной средой, обратитесь к руководству пользователя.
Создайте виртуальную среду с соответствующей версией Python и активируйте ее.
start_env.batMiniconda3 cmd.exe " /K " . M iniconda3 S cripts a ctivate.bat . M iniconda3start_env.bat для установки Autodl-GPU conda install pytorch==1.3.1
conda install torchvision -c pytorch
pip install autodl-gpupip install autodl-gpuДля получения инструкций, пожалуйста, обратитесь к тесту локального эффекта AutoDL для быстрого доступа, и см. Примеры/RUN_LOCAL_TEST.PY, например, код.
См. Классификацию быстрого начала изображений, и пример кода показан в примерах/Run_image_classification_example.py
Для получения инструкции, пожалуйста, обратитесь к классификации видео Quick Start.
Для получения инструкций, пожалуйста, обратитесь к классификации аудио для быстрого доступа и, например, кода, см. Примеры/Run_speech_classification_example.py
Для руководства см. Текстовую классификацию быстрого текста и см. Примеры кодов в примерах/run_text_classification_example.py.
Для руководства см. Классификацию таблицы быстрого начала и см. Примеры/Run_tabular_classification_example.py, например, код.
python download_public_datasets.py| # | Имя | Тип | Домен | Размер | Источник | Данные (без меток тестирования) | Тестовые этикетки |
|---|---|---|---|---|---|---|---|
| 1 | Мюнстер | Изображение | Hwr | 18 МБ | Мнист | Munster.data | Munster.Solution |
| 2 | Город | Изображение | Объекты | 128 МБ | CIFAR-10 | City.data | City.solution |
| 3 | Чаки | Изображение | Объекты | 128 МБ | CIFAR-100 | Чаки.Дата | Чаки.Solution |
| 4 | Педро | Изображение | Люди | 377 МБ | PA-100K | Педро.Дата | Pedro.Solution |
| 5 | Наклейка | Изображение | Антенна | 73 МБ | NWPU VHR-10 | Decal.Data | декаль |
| 6 | Молоток | Изображение | Медицинский | 111 МБ | HAM10000 | Hammer.data | молоток |
| 7 | Креатур | Видео | Действие | 469 МБ | Kth | kreatur.data | kreatur.solution |
| 8 | KREATUR3 | Видео | Действие | 588 МБ | Kth | KREATUR3.Data | КРЕТУР3.Solution |
| 9 | Краут | Видео | Действие | 1,9 ГБ | Kth | Kraut.data | Kraut.Solution |
| 10 | Кацце | Видео | Действие | 1,9 ГБ | Kth | Katze.data | Katze.solution |
| 11 | Data01 | Речь | Спикер | 1,8 ГБ | - | data01.data | data01.solution |
| 12 | data02 | Речь | Эмоция | 53 МБ | - | Data02.data | data02.solution |
| 13 | data03 | Речь | Акцент | 1,8 ГБ | - | Data03.data | data03.solution |
| 14 | Data04 | Речь | Жанр | 469 МБ | - | data04.data | data04.solution |
| 15 | Data05 | Речь | Язык | 208 МБ | - | data05.data | data05.solution |
| 16 | O1 | Текст | Комментарии | 828 КБ | - | O1.data | O1.Solution |
| 17 | O2 | Текст | Эмоция | 25 МБ | - | O2.data | O2.Solution |
| 18 | O3 | Текст | Новости | 88 МБ | - | O3.Data | O3.Solution |
| 19 | О.4 | Текст | Спам | 87 МБ | - | O4.data | O4.Solution |
| 20 | O5 | Текст | Новости | 14 МБ | - | O5.Data | O5.solution |
| двадцать один | Взрослый | Табличный | Перепись | 2 МБ | Взрослый | Взрослый.data | взрослый |
| двадцать два | Дилберт | Табличный | - | 162 МБ | - | Dilbert.data | Dilbert.Solution |
| двадцать три | Цифры | Табличный | Hwr | 137 МБ | Мнист | Digits.data | Digits.solution |
| двадцать четыре | Мэдлин | Табличный | - | 2,6 МБ | - | Madeline.data | Madeline.solution |
❤ Пожалуйста, не стесняйтесь участвовать в взносе, открывая проблему или отправьте PRS.
Apache License 2.0
