spacy transformers

SPACY转换器：在Spacy中使用预贴的变压器，例如BERT，XLNET和GPT-2

该软件包提供了通过拥抱面部transformers在Spacy中使用变压器模型来使用变压器模型的组件和体系结构。结果是可以方便地访问最先进的变压器体系结构，例如Bert，GPT-2，XLNET等。

此版本需要Spacy V3。有关此库的先前版本，请参见v0.6.x分支。

特征

• 使用验证的变压器模型（例如Bert ， Roberta和XLNet）为您的Spacy管道提供动力。
• 简单的多任务学习：从多个管道组件中回到一个变压器模型。
• 使用Spacy V3功能强大且可扩展的配置系统进行训练。
• 变压器输出与Spacy的令牌化的自动对齐。
• 轻松自定义在Doc对象中保存的变压器数据。
• 轻松自定义处理多长时间的文档。
• 开箱即用的序列化和模型包装。

安装

从PIP安装软件包将自动安装所有依赖项，包括Pytorch和Spacy。在安装模型之前，请确保安装此软件包。另请注意，此软件包需要Python 3.6+ ， Pytorch v1.5+和Spacy v3.0+ 。

pip install ' spacy[transformers] '

对于GPU安装，请使用nvcc --version找到您的CUDA版本，然后在括号中添加版本，例如cuda9.2或spacy[transformers,cuda92] ，或spacy[transformers,cuda100] for cuda10.0。

如果您在安装Pytorch时遇到困难，请按照官方网站上的说明以获取特定操作系统和要求。

文档

配x重要说明：该软件包已被广泛重构以利用Spacy v3.0。为Spacy V2.X构建的先前版本的工作方式差异很大。请参阅此读数的先前标记版本，以获取有关先前版本的文档。

• 嵌入，变压器和转移学习：如何在Spacy中使用变压器
• 培训管道和模型：培训和更新您自己的数据的组件并集成自定义模型
• 层和模型体系结构：具有自定义神经网络的功率启动组件
• ？ Transformer ：管道组件API参考
• ？变压器体系结构：体系结构和注册功能

应用预审慎的文本和代币分类模型

请注意， spacy-transformers的transformer组件不支持特定于任务的头部，例如令牌或文本分类。特定于任务的变压器模型可以用作训练启用螺旋组件（例如ner或textcat的功能来源，但是transformer组件无法访问特定于任务的训练或推理的任务头部。

另外，如果您只想使用现有的拥抱面部文本或令牌分类模型的预测，则可以使用spacy-huggingface-pipelines中的包装器将特定于任务的变压器模型纳入您的Spacy管道中。

错误报告和其他问题

请使用Spacy的问题跟踪器报告一个错误，或在讨论板上打开新线程以获取任何其他问题。