nlp architect

️ Descontinuação do projeto - Este projeto não será mais mantido pela Intel. Este projeto foi identificado como tendo escapadas de segurança conhecidas. A Intel cessou o desenvolvimento e as contribuições, incluindo, entre outros, manutenção, correções de bugs, novos lançamentos ou atualizações para este projeto. A Intel não aceita mais patches para este projeto.

Uma biblioteca NLP/NLU de aprendizado profundo da Intel® AI Lab

Visão geral | Modelos | Instalação | Exemplos | Documentação | Tutoriais | Contribuindo

A NLP Architect é uma biblioteca Python de código aberto para explorar topologias e técnicas de aprendizado profundo de ponta para otimizar o processamento de linguagem natural e as redes neurais de compreensão da linguagem natural.

Visão geral

O NLP Architect é uma biblioteca de PNL projetada para ser flexível, fácil de estender, permitir uma integração fácil e rápida de modelos de PNL em aplicativos e mostrar modelos otimizados.

Características:

• Modelos principais de PNL usados ​​em muitas tarefas de PNL e úteis em muitos aplicativos de PNL

• Novos modelos da NLU mostrando novas topologias e técnicas

• Modelos NLP/NLU otimizados mostrando diferentes algoritmos de otimização em modelos neurais NLP/NLU

• Design orientado para o modelo:

  • Treine e execute modelos da linha de comando.
  • API para usar modelos para inferência no Python.
  • Procedimentos para definir processos personalizados para treinamento, inferência ou qualquer coisa relacionada ao processamento.
  • Subsistema da CLI para procedimentos em execução

• Baseado em estruturas de aprendizado profundo otimizado:

  • Tensorflow
  • Pytorch
  • Dynet

• Utilitários essenciais para trabalhar com modelos de PNL-pré-processamento de texto/string, IO, manipulação de dados, métricas, incorporação.

Instalando o arquiteto da NLP

Recomendamos instalar o NLP Architect em um novo ambiente Python, para usar o Python 3.6+ com pip atualizado, setuptools e h5py .

Instale usando pip

Instale apenas a biblioteca principal

pip install nlp-architect

Instale a partir da fonte (github)

Inclui biblioteca principal, exemplos, soluções e tutoriais:

git clone https://github.com/IntelLabs/nlp-architect.git
cd nlp-architect
pip install -e .  # install in developer mode

Exemplos de execução e soluções

Para executar exemplos e soluções fornecidas, instale a biblioteca com o sinalizador [all] , que instalará pacotes extras necessários. (requer instalação da fonte)

pip install .[all]

Modelos

Modelos de PNL que fornecem o melhor (ou próximo) no desempenho da classe:

• Word Chunking
• Reconhecimento de entidade nomeado
• Parsing de dependência
• Extração de intenções
• Classificação de sentimentos
• Modelos de idiomas
• Transformers (para tarefas de PNL)

Modelos de entendimento da linguagem natural (NLU) que abordam o entendimento semântico:

• Análise de sentimentos baseados em aspectos (ABSA)
• Detecção de intenções articular e marcação de slot
• Representação de incorporação da frase substantiva (NP2VEC)
• Detecção de senso de palavras mais comum
• Identificação de relação
• Cruzeference de documento cruzado
• Segmentação semântica de frase substantiva

Otimizando os modelos NLP/NLU e Misc. Técnicas de otimização:

• Quantized Bert (8 bits)
• Destilação de conhecimento usando transformadores
• Tradução de máquina neural esparsa e quantizada (GNMT)

Soluções (aplicativos de ponta a ponta) usando um ou mais modelos:

• Expansão do conjunto de termos - usa o Word Chunker incluído como um extrator de frase substantivo e np2vec para criar conjuntos de termos semânticos
• Tópicos e análise de tendências - Analisando frases de tendências em corpora temporal
• Análise de sentimentos baseados em aspectos (ABSA)

Documentação

Documentação completa da biblioteca de modelos de PNL, algoritmos, soluções e instruções sobre como executar cada modelo pode ser encontrado em nosso site.

Filosofia do design da biblioteca de arquitetos da NLP

O NLP Architect é uma biblioteca orientada para o modelo, projetada para mostrar otimizações de redes neurais e diferentes. A biblioteca contém modelos relacionados à NLP/NLU por tarefa, diferentes topologias de rede neural (usadas nos modelos), procedimentos para simplificar os fluxos de trabalho na biblioteca, processadores de dados predefinidos e carregadores de dados e utilitários de misc. A biblioteca foi projetada para ser uma ferramenta para o desenvolvimento do modelo: pré-processamento de dados, modelo de construção, treinar, validar, inferir, salvar ou carregar um modelo.

As principais diretrizes de design são:

• Estrutura de aprendizagem profunda agnóstica
• Modelos NLP/NLU por tarefa
• Diferentes topologias usadas em modelos
• Showcase Applications de ponta a ponta (soluções) Utilizando um ou mais modelo de arquiteto NLP
• Carregadores de dados genéricos, utilitários de processamento de dados textuais e utilitários diversos que suportam o desenvolvimento de modelos de PNL (carregadores, processadores de texto, IO, métricas, etc.)
• Procedimentos para definir processos para treinamento, inferência, otimização ou qualquer tipo de script elaborado.
• API pitônica para usar modelos para inferência
• Extensa documentação e tutoriais do modelo

Observação

A NLP Architect é um espaço ativo de pesquisa e desenvolvimento; Ao longo de futuros lançamentos, novos modelos, soluções, topologias e adições de estrutura e alterações serão feitas. Nosso objetivo é garantir que todos os modelos sejam executados com o Python 3.6+. Incentivamos pesquisadores e desenvolvedores a contribuir com seu trabalho na biblioteca.

Citando

Se você usa o arquiteto da NLP em sua pesquisa, use a seguinte citação:

 @misc{izsak_peter_2018_1477518,
  title        = {NLP Architect by Intel AI Lab},
  month        = nov,
  year         = 2018,
  doi          = {10.5281/zenodo.1477518},
  url          = {https://doi.org/10.5281/zenodo.1477518}
}

Isenção de responsabilidade

O arquiteto da PNL é liberado como código de referência para fins de pesquisa. Não é um produto oficial da Intel, e o nível de qualidade e suporte pode não ser o esperado de um produto oficial. O NLP Architect deve ser usado localmente e não foi projetado, desenvolvido ou avaliado para uso da produção ou implantação na Web. Algoritmos e ambientes adicionais estão planejados para serem adicionados à estrutura. O feedback e as contribuições das comunidades de pesquisa de código aberto e PNL são mais do que bem -vindas.

Contato

Entre em contato com a equipe de desenvolvimento da NLP Architect por meio de problemas do GitHub ou e -mail: [email protected]