DeepPavlov
Release 1.7.0
Deeppavlov 1.0 es un marco NLP de código abierto construido en Pytorch y Transformers. Deeppavlov 1.0 se crea para el desarrollo modular y basado en la configuración de modelos PNL de última generación y admite una amplia gama de aplicaciones de modelos PNL. Deeppavlov 1.0 está diseñado para profesionales con conocimiento limitado de NLP/ML.
| nombre | Descripción |
|---|---|
| ️ Demo | Consulte nuestros modelos NLP en la demostración en línea |
| Documentación | Cómo usar Deeppavlov 1.0 y sus características |
| Lista de modelos | Encuentre el modelo NLP que necesita en la lista de modelos disponibles |
| ? Guía de contribución | Lea las pautas de contribución antes de hacer una contribución |
| ? Asuntos | Si tiene un problema con Deeppavlov, háganoslo saber |
| ⏩ Foro | Háganos saber si tiene un problema con Deeppavlov |
| ? Blogs | Lea sobre nuestro desarrollo actual |
| ? Tutoriales de Colab extendidos | Consulte los tutoriales de código para nuestros modelos |
| ? Centro de acopolador | Consulte las imágenes de Docker para su implementación rápida |
| ? ? Comentario | Déjenos sus comentarios para mejorar Deeppavlov |
Deeppavlov admite Linux , Windows 10+ (a través de WSL/WSL2), MacOS (Big Sur+) Platforms, Python 3.6 , 3.7 , 3.8 , 3.9 y 3.10 . Dependiendo del modelo utilizado, es posible que necesite de 4 a 16 GB de RAM.
Crear y activar un entorno virtual:
Linux python -m venv env
source ./env/bin/activate
Instale el paquete dentro del entorno:
pip install deeppavlov
Hay un montón de excelentes modelos PNL previamente capacitados en Deeppavlov. Cada modelo está determinado por su archivo de configuración.
La lista de modelos está disponible en la página DOC en el deeppavlov.configs (Python):
from deeppavlov import configsCuando te decidan el modelo (+ archivo de configuración), hay dos formas de entrenar, evaluarlo e inferirlo:
Por defecto, Deeppavlov instala los requisitos de los modelos de PYPI. Pytorch de Pypi no pudo soportar la capacidad de CUDA de su dispositivo. Para ejecutar los modelos Deeppavlov compatibles en GPU, debe tener CUDA compatible con la versión usada de GPU y Pytorch requerida por los modelos Deeppavlov. Ver documentos para más detalles. Se recomienda GPU con Pascal o arquitectura más nueva y 4+ GB VRAM.
Para obtener predicciones de un modelo de manera interactiva a través de la CLI, ejecute
python -m deeppavlov interact < config_path > [-d] [-i]-d Descargas de datos requeridos: archivos de modelo previos a los productos e incrustaciones (opcionales).-i instala los requisitos del modelo (opcional).Puedes entrenarlo de la misma manera simple:
python -m deeppavlov train < config_path > [-d] [-i] El conjunto de datos se descargará independientemente de si hubo una bandera -d o no.
Para entrenar en sus propios datos, debe modificar la ruta del lector del conjunto de datos en el documento de configuración del tren. El formato de datos se especifica en la página DOC del modelo correspondiente.
Hay aún más acciones que puede realizar con las configuraciones:
python -m deeppavlov < action > < config_path > [-d] [-i]<action> puede serinstall para instalar los requisitos del modelo (igual que -i ),download para descargar los datos del modelo (igual que -d ),train para entrenar el modelo en los datos especificados en el archivo de configuración,evaluate para calcular las métricas en el mismo conjunto de datos,interact para interactuar a través de CLI,riseapi para ejecutar un servidor API REST (ver doc),predict para obtener la predicción de muestras de stdin o desde <chil_path> if -f <file_path> se especifica.<config_path> Especifica la ruta (o el nombre) del archivo de configuración del modelo-d descargas datos requeridos-i instala los requisitos del modeloPara obtener predicciones de un modelo de manera interactiva a través de Python, ejecute
from deeppavlov import build_model
model = build_model ( < config_path > , install = True , download = True )
# get predictions for 'input_text1', 'input_text2'
model ([ 'input_text1' , 'input_text2' ])dónde
install=True Instale los requisitos del modelo (opcional),download=True descargas Los datos requeridos de la web: archivos de modelo previos a la provocación e incrustaciones (opcionales),<config_path> es el nombre del modelo (por ejemplo, 'ner_ontonotes_bert_mult' ), ruta al archivo de configuración del modelo elegido (por ejemplo "deeppavlov/configs/ner/ner_ontonotes_bert_mult.json" ), o deeppavlov.configs (eg deeppavlov.configs.ner.ner_ontonotes_bert_mult comillas).Puedes entrenarlo de la misma manera simple:
from deeppavlov import train_model
model = train_model ( < config_path > , install = True , download = True )Para entrenar en sus propios datos, debe modificar la ruta del lector del conjunto de datos en el documento de configuración del tren. El formato de datos se especifica en la página DOC del modelo correspondiente.
También puede calcular métricas en el conjunto de datos especificado en su archivo de configuración:
from deeppavlov import evaluate_model
model = evaluate_model ( < config_path > , install = True , download = True )Deeppavlov también permite construir un modelo a partir de componentes para inferencia usando Python.
Deeppavlov es Apache 2.0 - licencia.
@inproceedings{savkin-etal-2024-deeppavlov,
title = "DeepPavlov 1.0: Your Gateway to Advanced NLP Models Backed by Transformers and Transfer Learning",
author = "Savkin Maksim and Voznyuk Anastasia and Ignatov Fedor and Korzanova Anna and Karpov Dmitry and Popov Alexander and Konovalov Vasily"
editor = "Hernandez Farias and Delia Irazu and Hope Tom and Li Manling",
booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
month = nov,
year = "2024",
address = "Miami, Florida, USA",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2024.emnlp-demo.47",
pages = "465--474",
abstract = "We present DeepPavlov 1.0, an open-source framework for using Natural Language Processing (NLP) models by leveraging transfer learning techniques. DeepPavlov 1.0 is created for modular and configuration-driven development of state-of-the-art NLP models and supports a wide range of NLP model applications. DeepPavlov 1.0 is designed for practitioners with limited knowledge of NLP/ML. DeepPavlov is based on PyTorch and supports HuggingFace transformers. DeepPavlov is publicly released under the Apache 2.0 license and provides access to an online demo.",
}
