AutoDL
v1.0
Inglês |
Desafio do Autodl Challenge@Neurips, consulte a concorrência do Autodl para obter detalhes.
O AUTODL concentra-se em um algoritmo geral que executa automaticamente a classificação de modalidades arbitrárias (imagem, vídeo, texto, dados tabulares). Ajuste de dados, recursos, modelos, para problemas como super parâmetros, você pode fazer um classificador com excelente desempenho em apenas 10 segundos. Este projeto alcançou resultados extremamente excelentes em 24 conjuntos de dados offline e 15 conjuntos de dados on -line em diferentes campos . O Autodl tem os seguintes recursos:
☕ Full -Automatic : estrutura de aprendizado/aprendizado de máquina totalmente automático, nenhuma intervenção manual é necessária para todo o processo. Todos os detalhes dos dados, recursos e modelos foram ajustados da melhor maneira possível, e os problemas de limitação de recursos, distorção de dados, pequenos dados, engenharia de recursos, seleção de modelos, otimização da estrutura da rede e pesquisa de hiperparâmetro foram resolvidos uniformemente. Basta preparar os dados, iniciar o Autodl e tomar uma xícara de café .
? Ele alcançou resultados extremamente excelentes em diferentes campos , como reconhecimento de pedestres, reconhecimento de ação para pedestres, reconhecimento de rosto, reconhecimento de impressão de voz, classificação musical, classificação de sotaque, classificação de idiomas, classificação de emoções, classificação de email, classificação de notícias, otimização de publicidade, sistemas de recomendação, pesquisa de pesquisa, pesquisa motores, marketing de precisão, etc.
? A biblioteca de modelos inclui modelos campeões preferenciais de LR/SVM/LGB/CGB/XGB para resinar*/mc3/dnn/thinResnet*/textcnn/rcnn/gru/bert e assim por diante.
Speed Speed/tempo real : obtenha o desempenho do modelo competitivo em tão rápido quanto dez segundos. Os resultados são atualizados em tempo real (segundos) e você pode obter feedback em tempo real sobre o modelo sem esperar.
Lista preliminar (Deepwisdom classificou em primeiro lugar no total, com uma classificação média de 1,2, e ganhou 4 primeiros em 5 conjuntos de dados) 
Lista de finais (Deepwisdom classificou em primeiro lugar no total, com uma classificação média de 1,8, e classificou 7 primeiros em 10 conjuntos de dados) 
Ambiente básico
python > =3.5
CUDA 10
cuDNN 7.5clone warehouse
cd <path_to_your_directory>
git clone https://github.com/DeepWisdom/AutoDL.git
Modelo pré-treinado para baixar o modelo discurso_model.h5 e colocá-lo no AutoDL_sample_code_submission/at_speech/pretrained_models/ diretório.
Opcional: use um ambiente do Docker sincronizado com a competição
cd path/to/autodl/
docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:cpu-latest
nvidia-docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:gpu-latest
Preparação do conjunto de dados: use o conjunto de dados de amostra em AutoDL_sample_data ou faça o download do conjunto de dados públicos do concurso.
Realizar testes locais
python run_local_test.py
Os testes locais são usados integralmente. python run_local_test.py -dataset_dir='AutoDL_sample_data/miniciao' -code_dir='AutoDL_sample_code_submission' Você pode visualizar a página HTML para feedback da curva de aprendizado em tempo real AutoDL_scoring_output/ .
Para detalhes, consulte o Autodl Challenge Official Starting_Kit.
Pode-se observar que, nos conjuntos de dados de cinco modos diferentes, os fluxos do algoritmo Autodl alcançaram efeitos extremamente excelentes em tempo integral e podem obter uma precisão extremamente alta em um tempo muito curto.
Este repositório é testado no Python 3.6+, Pytorch 1.3.1 e Tensorflow 1.15.
Você deve instalar o Autodl no ambiente virtual. Se você não estiver familiarizado com o ambiente virtual, consulte a orientação do usuário.
Crie um ambiente virtual com a versão Python apropriada e ativá -la.
start_env.batMiniconda3 instalado cmd.exe " /K " . M iniconda3 S cripts a ctivate.bat . M iniconda3start_env.bat para instalar o Autodl-GPU conda install pytorch==1.3.1
conda install torchvision -c pytorch
pip install autodl-gpupip install autodl-gpuPara obter instruções, consulte o teste de efeito local do AutoDL para acesso rápido e consulte Exemplos/run_local_test.py, por exemplo, código.
Consulte a classificação da imagem de início rápido e o código de amostra é mostrado em exemplos/run_image_classification_example.py
Para obter instruções, consulte a classificação de vídeo Start Quick Start.
Para obter instruções, consulte a classificação de áudio para acesso rápido e, por exemplo
Para orientação, consulte a classificação de texto do texto rápido e consulte os códigos de exemplo em exemplos/run_text_classification_example.py.
Para orientação, consulte a classificação da tabela de início rápido e consulte Exemplos/run_tabular_classification_example.py para exemplo.
python download_public_datasets.py| # | Nome | Tipo | Domínio | Tamanho | Fonte | Dados (sem etiquetas de teste) | Etiquetas de teste |
|---|---|---|---|---|---|---|---|
| 1 | Munster | Imagem | Hwr | 18 MB | Mnist | Munster.data | Munster.solution |
| 2 | Cidade | Imagem | Objetos | 128 MB | Cifar-10 | City.Data | City.Solution |
| 3 | Chucky | Imagem | Objetos | 128 MB | CIFAR-100 | chucky.data | Chucky.Solution |
| 4 | Pedro | Imagem | Pessoas | 377 MB | PA-100K | Pedro.data | Pedro.solution |
| 5 | Decalque | Imagem | Aéreo | 73 MB | NWPU VHR-10 | Decal.data | Decal. Solução |
| 6 | Martelo | Imagem | Médico | 111 MB | HAM10000 | Hammer.Data | Hammer.solution |
| 7 | Kreatur | Vídeo | Ação | 469 MB | Kth | Kreatur.data | Kreatur.Solution |
| 8 | Kreatur3 | Vídeo | Ação | 588 MB | Kth | Kreatur3.Data | Kreatur3.Solution |
| 9 | Kraut | Vídeo | Ação | 1,9 GB | Kth | kraut.data | Kraut.Solution |
| 10 | Katze | Vídeo | Ação | 1,9 GB | Kth | katze.data | Katze.solution |
| 11 | Data01 | Discurso | Palestrante | 1,8 GB | - | data01.data | data01.solution |
| 12 | Data02 | Discurso | Emoção | 53 MB | - | data02.data | Data02.Solution |
| 13 | Data03 | Discurso | Sotaque | 1,8 GB | - | data03.data | Data03.Solution |
| 14 | Data04 | Discurso | Gênero | 469 MB | - | data04.data | Data04.Solução |
| 15 | Data05 | Discurso | Linguagem | 208 MB | - | data05.data | Data05.Solução |
| 16 | O1 | Texto | Comentários | 828 KB | - | O1.data | O1.Solution |
| 17 | O2 | Texto | Emoção | 25 MB | - | O2.Data | O2.Solução |
| 18 | O3 | Texto | Notícias | 88 MB | - | O3.Data | O3.Solução |
| 19 | O4 | Texto | Spam | 87 MB | - | O4.data | O4.Solução |
| 20 | O5 | Texto | Notícias | 14 MB | - | O5.data | O5.Solução |
| vinte e um | Adulto | Tabular | Censo | 2 MB | Adulto | adulto.data | adult.Solution |
| vinte e dois | Dilbert | Tabular | - | 162 MB | - | Dilbert.data | Dilbert.Solution |
| vinte e três | Dígitos | Tabular | Hwr | 137 MB | Mnist | Digits.data | Digits.Solution |
| vinte e quatro | Madeline | Tabular | - | 2,6 MB | - | madeline.data | Madeline.Solution |
❤️ Por favor, não hesite em participar da contribuição, abre um problema ou envie o PRS.
Licença Apache 2.0
