spacy transformers

Transformadores de Spacy: Use transformadores pré-gravados como Bert, XLNet e GPT-2 em Spacy

Este pacote fornece componentes e arquiteturas espaciais para usar modelos de transformadores por meio de transformers do Hugging Face em Spacy. O resultado é o acesso conveniente a arquiteturas de transformadores de última geração, como Bert, GPT-2, XLNet, etc.

Esta versão requer Spacy V3. Para a versão anterior desta biblioteca, consulte o ramo v0.6.x

Características

• Use modelos de transformadores pré -tenhados como Bert , Roberta e XLNet para alimentar seu pipeline espacial.
• Aprendizagem fácil de várias tarefas : Backprop para um modelo de transformador de vários componentes do pipeline.
• Treine usando o sistema de configuração poderoso e extensível do Spacy V3.
• Alinhamento automático da saída do transformador à tokenização de Spacy.
• Personalize facilmente quais dados do transformador são salvos no objeto Doc .
• Personalize facilmente quanto tempo os documentos são processados.
• Serialização pronta para uso e embalagem de modelos.

Instalação

A instalação do pacote a partir do PIP instalará automaticamente todas as dependências, incluindo Pytorch e Spacy. Certifique -se de instalar este pacote antes de instalar os modelos. Observe também que este pacote requer python 3.6+ , pytorch v1.5+ e spacy v3.0+ .

pip install ' spacy[transformers] '

Para a instalação da GPU, encontre sua versão CUDA usando nvcc --version e adicione a versão entre colchetes, por exemplo, spacy[transformers,cuda92] para CUDA9.2 ou spacy[transformers,cuda100] para CUDA10.0.

Se você estiver com problemas para instalar o Pytorch, siga as instruções no site oficial do seu sistema operacional e requisitos específicos.

Documentação

️ NOTA IMPORTANTE: Este pacote foi amplamente refatado para aproveitar o Spacy v3.0. Versões anteriores que foram construídas para Spacy v2.x funcionaram consideravelmente de maneira diferente. Consulte as versões marcadas anteriores deste ReadMe para documentação sobre versões anteriores.

• Incorporações, transformadores e aprendizado de transferência: como usar transformadores em spacy
• Treinando oleodutos e modelos: treine e atualize componentes em seus próprios dados e integrar modelos personalizados
• Camadas e arquiteturas de modelos: componentes de spacy de energia com redes neurais personalizadas
• ? Transformer : referência da API do componente do pipeline
• ? Arquiteturas de transformadores: arquiteturas e funções registradas

Aplicando modelos de classificação de texto e token pré -treinamento

Observe que o componente transformer da spacy-transformers não suporta cabeças específicas de tarefas, como token ou classificação de texto. Um modelo de transformador específico para tarefas pode ser usado como fonte de recursos para treinar componentes espaciais como ner ou textcat , mas o componente transformer não fornece acesso a cabeças específicas da tarefa para treinamento ou inferência.

Como alternativa, se você deseja usar apenas as previsões de um modelo de texto ou classificação de token abraçando de abraço ou token existente, poderá usar os invólucros de spacy-huggingface-pipelines para incorporar modelos de transformadores específicos para tarefas em seus pipelines espaciais.

Relatórios de bugs e outros problemas

Use o rastreador de problemas da Spacy para relatar um bug ou abrir um novo thread no quadro de discussão para qualquer outro problema.