DeepPavlov
Release 1.7.0
Deeppavlov 1.0-это фреймворк NLP с открытым исходным кодом, построенный на Pytorch и Transformers. Deeppavlov 1.0 создан для модульной и конфигурационной разработки современных моделей NLP и поддерживает широкий спектр приложений моделей NLP. Deeppavlov 1.0 предназначен для практиков с ограниченным знанием NLP/мл.
| имя | Описание |
|---|---|
| ️ демо | Проверьте наши модели NLP в онлайн -демонстрации |
| Документация | Как использовать Deeppavlov 1.0 и его функции |
| Список моделей | Найдите нужную вам модель NLP в списке доступных моделей |
| ? Руководство по взносу | Пожалуйста, прочитайте руководящие принципы вклада перед вкладом |
| ? Проблемы | Если у вас есть проблема с Deeppavlov, пожалуйста, сообщите нам об этом |
| ⏩ Форум | Пожалуйста, дайте нам знать, если у вас есть проблема с Deeppavlov |
| ? Блоги | Читайте о нашей текущей разработке |
| ? Расширенные учебники COLAB | Проверьте учебники по коду для наших моделей |
| ? Docker Hub | Проверьте изображения Docker для быстрого развертывания |
| ? ? Обратная связь | Пожалуйста, оставьте нам свой отзыв, чтобы сделать Deeppavlov лучше |
Deeppavlov поддерживает Linux , Windows 10+ (через WSL/WSL2), платформы MacOS (Big Sur+), Python 3.6 , 3.7 , 3.8 , 3.9 и 3.10 . В зависимости от используемой модели вам может понадобиться от 4 до 16 ГБ оперативной памяти.
Создать и активировать виртуальную среду:
Linux python -m venv env
source ./env/bin/activate
Установите пакет в среде:
pip install deeppavlov
В Диппавлове есть куча отличных предварительно обученных моделей НЛП. Каждая модель определяется своим файлом конфигурации.
Список моделей доступен на странице DOC в deeppavlov.configs (Python):
from deeppavlov import configsКогда вы определитесь с моделью (+ файл конфигурации), есть два способа тренировать, оценить и вывести ее:
По умолчанию Deeppavlov устанавливает требования моделей от PYPI. Pytorch из PYPI не может поддержать ваше устройство CUDA CUDA. Чтобы запустить поддерживаемые модели Deeppavlov на графическом процессоре, вы должны иметь CUDA, совместимую с использованной версией GPU и Pytorch, требующей моделей Deeppavlov. Смотрите документы для деталей. Рекомендуется графический процессор с Pascal или новой архитектурой и 4+ ГБ VRAM.
Чтобы получить прогнозы от модели интерактивно через CLI, запустите
python -m deeppavlov interact < config_path > [-d] [-i]-d Загрузки Требуемые данные - предварительные файлы модели и вставки (необязательно).-i устанавливает требования модели (необязательно).Вы можете обучить его таким же простым способом:
python -m deeppavlov train < config_path > [-d] [-i] Набор данных будет загружен независимо от того, был ли флаг -d или нет.
Чтобы обучить свои собственные данные, вам необходимо изменить путь считывателя наборов данных в конфигурационном документе. Формат данных указан на соответствующей модели DOC -странице.
Есть еще больше действий, которые вы можете выполнить с конфигурациями:
python -m deeppavlov < action > < config_path > [-d] [-i]<action> может бытьinstall для установки требований модели (так же, как -i ),download для загрузки данных модели (так же, как -d ),train для обучения модели на данные, указанные в файле конфигурации,evaluate для расчета метрик на одном и том же наборе данных,interact , чтобы взаимодействовать через CLI,riseapi для запуска сервера API REST (см. DOC),predict , чтобы получить прогноз для образцов от Stdin или от <file_path> , если -f <file_path> указан.<config_path> указывает путь (или имя) файла конфигурации модели-d необходимые данные загрузки-i устанавливает требования моделиЧтобы получить прогнозы от модели интерактивно через Python, запустите
from deeppavlov import build_model
model = build_model ( < config_path > , install = True , download = True )
# get predictions for 'input_text1', 'input_text2'
model ([ 'input_text1' , 'input_text2' ])где
install=True установить требования модели (необязательно),download=True Doploads Требуемые данные из веб -сайта - предварительно проведенные модели файлы и встраивания (необязательно),<config_path> IS -имя модели (например "deeppavlov/configs/ner/ner_ontonotes_bert_mult.json" 'ner_ontonotes_bert_mult' deeppavlov.configs , deeppavlov.configs.ner.ner_ontonotes_bert_mult кавычки).Вы можете обучить его таким же простым способом:
from deeppavlov import train_model
model = train_model ( < config_path > , install = True , download = True )Чтобы обучить свои собственные данные, вам необходимо изменить путь считывателя наборов данных в конфигурационном документе. Формат данных указан на соответствующей модели DOC -странице.
Вы также можете рассчитать метрики в наборе данных, указанном в вашем файле конфигурации:
from deeppavlov import evaluate_model
model = evaluate_model ( < config_path > , install = True , download = True )Deeppavlov также позволяет создавать модель из компонентов для вывода с использованием Python.
Deeppavlov - Apache 2.0 - лицензирован.
@inproceedings{savkin-etal-2024-deeppavlov,
title = "DeepPavlov 1.0: Your Gateway to Advanced NLP Models Backed by Transformers and Transfer Learning",
author = "Savkin Maksim and Voznyuk Anastasia and Ignatov Fedor and Korzanova Anna and Karpov Dmitry and Popov Alexander and Konovalov Vasily"
editor = "Hernandez Farias and Delia Irazu and Hope Tom and Li Manling",
booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
month = nov,
year = "2024",
address = "Miami, Florida, USA",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2024.emnlp-demo.47",
pages = "465--474",
abstract = "We present DeepPavlov 1.0, an open-source framework for using Natural Language Processing (NLP) models by leveraging transfer learning techniques. DeepPavlov 1.0 is created for modular and configuration-driven development of state-of-the-art NLP models and supports a wide range of NLP model applications. DeepPavlov 1.0 is designed for practitioners with limited knowledge of NLP/ML. DeepPavlov is based on PyTorch and supports HuggingFace transformers. DeepPavlov is publicly released under the Apache 2.0 license and provides access to an online demo.",
}
