spacy transformers

Spacy-Transformers: используйте предварительные трансформаторы, такие как Bert, XLnet и GPT-2 в Spacy

Этот пакет предоставляет компоненты и архитектуры SPACY для использования трансформаторных моделей с помощью transformers обнимающего лица в Spacy. Результатом является удобный доступ к современным архитектурам трансформаторов, таких как BERT, GPT-2, XLNET и т. Д.

Этот релиз требует Spacy v3. Для предыдущей версии этой библиотеки см. v0.6.x филиал.

Функции

• Используйте предварительные модели трансформаторов, такие как Bert , Roberta и Xlnet для питания вашего трубопровода Spacy.
• Легкое многозадачное обучение : BackProp к одной модели трансформатора из нескольких компонентов трубопровода.
• Поезд с использованием мощной и расширяемой системы конфигурации Spacy v3.
• Автоматическое выравнивание трансформатора с токенизацией Spacy.
• Легко настроить то, что данные трансформатора сохраняются в объекте Doc .
• Легко настроить, как долго обрабатываются документы.
• Задача сериализации и модельная упаковка.

Установка

Установка пакета из PIP автоматически установит все зависимости, включая Pytorch и Spacy. Убедитесь, что вы установите этот пакет перед установкой моделей. Также обратите внимание, что этот пакет требует Python 3.6+ , Pytorch v1.5+ и Spacy v3.0+ .

pip install ' spacy[transformers] '

Для установки GPU найдите свою версию CUDA, используя nvcc --version и добавьте версию в скобки, например, spacy[transformers,cuda92] для CUDA9.2 или spacy[transformers,cuda100] для CUDA10.0.

Если у вас проблемы с установкой Pytorch, следуйте инструкциям на официальном веб -сайте для вашей конкретной операционной системы и требований.

Документация

️ Важное примечание: этот пакет был широко распространен, чтобы воспользоваться Spacy v3.0. Предыдущие версии, которые были построены для Spacy V2.x, работали значительно по -другому. Пожалуйста, смотрите предыдущие версии этой README для документации на предыдущих версиях.

• Встроенные, трансформаторы и обучение передачи: как использовать трансформаторы в Spacy
• Учебные трубопроводы и модели: компоненты обучения и обновления на своих собственных данных и интегрировать пользовательские модели
• Слои и модельные архитектуры: компоненты Power Spacy с пользовательскими нейронными сетями
• ? Transformer : компонент трубопровода API -ссылка
• ? Архитектуры трансформаторов: архитектуры и зарегистрированные функции

Применение предварительно проведенных моделей текста и токенов

Обратите внимание, что компонент transformer от spacy-transformers не поддерживает Heads, конкретные, такие как токеновая или текстовая классификация. Модель трансформатора для конкретной задачи может быть использована в качестве источника функций для обучения компонентов Spacy, таких как ner или textcat , но компонент transformer не обеспечивает доступ к руководителям для обучения или вывода.

В качестве альтернативы, если вы хотите использовать только предсказания из существующей модели текста обнимающего лица или классификации токенов, вы можете использовать обертки из spacy-huggingface-pipelines для включения моделей трансформаторов, специфичных для задачи, в ваши трубопроводы Spacy.

Отчеты об ошибках и другие проблемы

Пожалуйста, используйте трекер выпуска Spacy, чтобы сообщить об ошибке, или откройте новую ветку на доске для обсуждения для любого другого вопроса.