Download NeuronBlocks - Download de código -fonte NeuronBlocks

NeuronBlocks

Pitão

1.0.0

Baixar

Construindo seus modelos de PNN DNN como jogar LEGO

简体中文

Tutorial 中文教程 Vídeo de demonstração

Índice

Visão geral
Comece em 60 segundos
Quem deve considerar usar neuronblocks
Contribuir
Referência
Projeto relacionado
Licença
Contato

Visão geral

O NeuronBlocks é um kit de ferramentas de modelagem de aprendizado profundo da PNL que ajuda os engenheiros/pesquisadores a criar pipelines de ponta a ponta para treinamento de modelos de rede neural para tarefas de PNL. O principal objetivo deste kit de ferramentas é minimizar o desenvolvimento de custos para a construção de modelos de rede neural profunda da PNL, incluindo estágios de treinamento e inferência.

Os neuronblocks consistem em dois componentes principais: bloquear o zoológico e o zoológico modelo .

No zoológico do bloco , fornecemos componentes de rede neural comumente usados como blocos de construção para o design da arquitetura de modelos.
No Model Zoo , fornecemos um conjunto de modelos de PNL para tarefas comuns de PNL, na forma de arquivos de configuração JSON .

Idioma suportado

Inglês
chinês

Tarefas de PNL suportadas

Classificação da frase
Análise de sentimentos
Resposta de perguntas correspondentes
Iraximento textual
Marcação de slot
Compreensão de leitura da máquina
Destilação de conhecimento para compactação de modelos
Mais em andamento

Uso do kit de ferramentas

Os usuários podem escolher modelos existentes (arquivos de configuração) no zoológico do modelo para iniciar o treinamento de modelos ou criar novos modelos, alavancando blocos de rede neural no zoológico de bloco, como jogar com o LEGO.

Comece em 60 segundos

Instalação

NOTA: Os neuronblocks requer Python 3.6 e acima.

Clone este projeto.

git clone https://github.com/Microsoft/NeuronBlocks

Instale os pacotes Python em requisitos.txt pelo seguinte comando.
```
pip install -r requirements.txt
```
Instale o pytorch ( o neuronblocks suporta pytorch 0.4.1 e acima ).
Para Linux , execute o seguinte comando:
```
pip install " torch>=0.4.1 "
```
Para o Windows , sugerimos que você instale o Pytorch via CONDA seguindo as instruções do Pytorch.

Início rápido

Comece experimentando os exemplos dados. Linux/Windows, GPU/CPU são suportados. Para o Windows , sugerimos que você use o PowerShell em vez de CMD.

Dicas: Na seguinte instrução, o ProJectroot indica o diretório raiz deste projeto.

 # train
cd PROJECT_ROOT
python train.py --conf_path=model_zoo/demo/conf.json

# test
python test.py --conf_path=model_zoo/demo/conf.json

# predict
python predict.py --conf_path=model_zoo/demo/conf.json

Para previsão, os neuronblocks têm dois modos: interativo e lote .

Modo de previsão interativa: o modo interativo fornece interface interativa, os usuários podem inserir casos de acordo com a mensagem prompt correspondente e obter o resultado da previsão em tempo real do modelo treinado e a entrada de "saída" para sair da interface interativa.

 # use the above example
# interactive prediction
python predict.py --conf_path=model_zoo/demo/conf.json --predict_mode= ' interactive '

Modo de previsão em lote: Para previsão de casos em lotes, os neuronblocks fornecem modo de previsão em lote que recebe um arquivo de casos como entrada e grava os resultados da previsão no arquivo de previsão.

 # use the above example
# batch prediction
python predict.py --conf_path=model_zoo/demo/conf.json --predict_mode= ' batch ' --predict_data_path=dataset/demo/predict.tsv

Para mais detalhes, consulte o tutorial.md e a documentação do código.

Quem deve considerar usar neuronblocks

Engenheiros ou pesquisadores que enfrentam os seguintes desafios ao usar modelos de rede neural para resolver problemas de PNL:

Muitas estruturas para escolher e alto custo de estudo de estudo.
Custo de codificação pesada. Muitos detalhes dificultam a depuração.
Evolução da arquitetura do modelo rápido. É difícil para os engenheiros entender os princípios matemáticos por trás deles.
A otimização do código do modelo requer conhecimento profundo.
Modelo Requisito de compatibilidade da plataforma. Requer trabalho de codificação extra para o modelo ser executado em diferentes plataformas, como Linux/Windows, GPU/CPU.

As vantagens de alavancar os neuronblocks para o treinamento de modelos de rede neural da PNL inclui:

Construção do modelo : Para a construção de modelos e o ajuste de parâmetros, os usuários precisam escrever apenas arquivos de configuração JSON simples, que minimizam bastante o esforço de implementar novas idéias.
Compartilhamento de modelos É super fácil compartilhar modelos apenas através de arquivos JSON, em vez de códigos desagradáveis. Para modelos ou tarefas diferentes, nossos usuários precisam apenas manter uma única base de código -fonte centralizada.
REUSIBILIDADE DE CÓDIGO : Os blocos comuns podem ser facilmente compartilhados em vários modelos ou tarefas, reduzindo o trabalho de codificação duplicada.
Flexibilidade da plataforma : os neuronblocks podem ser executados nas máquinas Linux e Windows, usando CPU e GPU. Também suporta treinamento em plataformas de GPU como Philly e Pai.
Inferência da CPU Inferência de GPU único Inferência multi-GPU
Trem da CPU ✓ ✓ ✓
Trem de GPU único ✓ ✓ ✓
Trem multi-GPU ✓ ✓ ✓
Visualização do modelo : um visualizador de modelo é fornecido para visualização e configuração de verificação de correção, o que ajuda os usuários a visualizar a arquitetura do modelo facilmente durante a depuração.
Extensibilidade : os neuronblocks são extensíveis, permitindo que os usuários contribuam com novos blocos ou contribuindo com novos modelos (arquivos JSON).

Contribuir

Os neuronblocks operam em um modelo aberto. Ele foi projetado e desenvolvido pelo Grupo STCA NLP, Microsoft . As contribuições da academia e da indústria também são muito bem -vindas. Para mais detalhes, consulte contribuindo.md.

Trabalho em andamento e pedir contribuições

Qualquer pessoa que esteja familiarizada seja altamente encorajada a contribuir com código.

Destilação do conhecimento para compactação de modelos. Destilação do conhecimento para modelos pesados como Bert, OpenAi Transformer. A destilação de conhecimento baseada em professor-aluno é um método comum para a compactação do modelo.
Suporte multilingual
Suporte ao modelo NER
Suporte de treinamento com várias tarefas

Referência

NeuronBlocks - Construindo seus modelos de PNN DNN como jogar LEGO. EMNLP 2019 , em https://arxiv.org/abs/1904.09535.

 @article{gong2019neuronblocks,
  title={NeuronBlocks--Building Your NLP DNN Models Like Playing Lego},
  author={Gong, Ming and Shou, Linjun and Lin, Wutao and Sang, Zhijie and Yan, Quanjia and Yang, Ze, Cheng, Feixiang and Jiang, Daxin},
  journal={arXiv preprint arXiv:1904.09535},
  year={2019}
}

Projeto relacionado

O OpenPai é uma plataforma de código aberto que fornece recursos completos de treinamento e gerenciamento de recursos de modelos de IA, é fácil estender e suportar ambientes locais, nuvem e híbridos em várias escalas.
Amostras para a IA: uma coleção de amostras e projetos de aprendizado profundo. Ele contém muitos algoritmos e aplicativos clássicos de aprendizado profundo, com diferentes estruturas, o que é uma boa entrada para os iniciantes começarem com o aprendizado profundo.