DeepPavlov
Release 1.7.0
Deeppavlov 1.0 est un framework NLP open source construit sur Pytorch et Transformers. Deeppavlov 1.0 est créé pour le développement modulaire et axé sur la configuration des modèles NLP de pointe et prend en charge une large gamme d'applications de modèle NLP. Deeppavlov 1.0 est conçu pour les praticiens ayant une connaissance limitée de la PNL / ml.
| nom | Description |
|---|---|
| ️ démo | Consultez nos modèles NLP dans la démo en ligne |
| Documentation | Comment utiliser Deeppavlov 1.0 et ses fonctionnalités |
| Liste de modèles | Trouvez le modèle NLP dont vous avez besoin dans la liste des modèles disponibles |
| ? Guide de contribution | Veuillez lire les directives de contribution avant de faire une contribution |
| ? Problèmes | Si vous avez un problème avec Deeppavlov, veuillez nous faire savoir |
| ⏩ Forum | Veuillez nous faire savoir si vous avez un problème avec Deeppavlov |
| ? Blogs | Lisez à propos de notre développement actuel |
| ? Tutoriels étendus de Colab | Consultez les tutoriels du code pour nos modèles |
| ? Hub docker | Découvrez les images Docker pour un déploiement rapide |
| ? ? Retour | Veuillez nous laisser vos commentaires pour améliorer Deeppavlov |
Deeppavlov prend en charge Linux , Windows 10+ (via WSL / WSL2), MacOS (Big Sur +) Plateformes, Python 3.6 , 3.7 , 3.8 , 3.9 et 3.10 . Selon le modèle utilisé, vous aurez peut-être besoin de 4 à 16 Go de RAM.
Créer et activer un environnement virtuel:
Linux python -m venv env
source ./env/bin/activate
Installez le package à l'intérieur de l'environnement:
pip install deeppavlov
Il y a un tas de grands modèles NLP pré-formés à Deeppavlov. Chaque modèle est déterminé par son fichier de configuration.
La liste des modèles est disponible sur la page DOC dans le deeppavlov.configs (Python):
from deeppavlov import configsLorsque vous êtes décidé sur le modèle (+ file de configuration), il existe deux façons de former, de l'évaluer et de le déduire:
Par défaut, Deeppavlov installe les exigences des modèles de PYPI. Pytorch de PYPI n'a pas pu prendre en charge la capacité CUDA de votre appareil. Pour exécuter des modèles Deeppavlov pris en charge sur GPU, vous devez avoir CUDA compatible avec les modèles de GPU et Pytorch utilisés requis par les modèles Deeppavlov. Voir les documents pour plus de détails. Le GPU avec architecture Pascal ou plus récente et 4+ GB VRAM est recommandé.
Pour obtenir des prédictions d'un modèle de manière interactive via CLI, exécutez
python -m deeppavlov interact < config_path > [-d] [-i]-d Téléchargements Données requises - Fichiers et intégres de modèle pré-entraînés (facultatif).-i installe les exigences du modèle (facultatif).Vous pouvez l'entraîner de la même manière simple:
python -m deeppavlov train < config_path > [-d] [-i] L'ensemble de données sera téléchargé, qu'il y ait eu un drapeau -d ou non.
Pour vous entraîner sur vos propres données, vous devez modifier le chemin du lecteur de données de données dans le train de configuration de train. Le format de données est spécifié dans la page Doc du modèle correspondant.
Il y a encore plus d'actions que vous pouvez effectuer avec des configurations:
python -m deeppavlov < action > < config_path > [-d] [-i]<action> peut êtreinstall pour installer les exigences du modèle (identiques à -i ),download pour télécharger les données du modèle (identique à -d ),train pour former le modèle sur les données spécifiées dans le fichier de configuration,evaluate pour calculer les mesures sur le même ensemble de données,interact pour interagir via CLI,riseapi pour exécuter un serveur API REST (voir DOC),predict pour obtenir la prédiction des échantillons de STDIN ou de <File_Path> si -f <file_path> est spécifié.<config_path> Spécifie le chemin (ou le nom) du fichier de configuration du modèle-d télécharge les données requises-i installe les exigences du modèlePour obtenir des prédictions d'un modèle de manière interactive via Python, exécutez
from deeppavlov import build_model
model = build_model ( < config_path > , install = True , download = True )
# get predictions for 'input_text1', 'input_text2'
model ([ 'input_text1' , 'input_text2' ])où
install=True installe les exigences du modèle (facultatif),download=True Téléchargements Données requises à partir de fichiers et intégres de modèle pré-entraînés (facultatif),<config_path> est deeppavlov.configs.ner.ner_ontonotes_bert_mult nom du modèle (par exemple 'ner_ontonotes_bert_mult' ), chemin vers le fichier de configuration du modèle choisi (par exemple "deeppavlov/configs/ner/ner_ontonotes_bert_mult.json" ), ou deeppavlov.configs citation marques).Vous pouvez l'entraîner de la même manière simple:
from deeppavlov import train_model
model = train_model ( < config_path > , install = True , download = True )Pour vous entraîner sur vos propres données, vous devez modifier le chemin du lecteur de données de données dans le train de configuration de train. Le format de données est spécifié dans la page Doc du modèle correspondant.
Vous pouvez également calculer des mesures sur l'ensemble de données spécifié dans votre fichier de configuration:
from deeppavlov import evaluate_model
model = evaluate_model ( < config_path > , install = True , download = True )Deeppavlov permet également de construire un modèle à partir de composants pour l'inférence à l'aide de Python.
Deeppavlov est Apache 2.0 - sous licence.
@inproceedings{savkin-etal-2024-deeppavlov,
title = "DeepPavlov 1.0: Your Gateway to Advanced NLP Models Backed by Transformers and Transfer Learning",
author = "Savkin Maksim and Voznyuk Anastasia and Ignatov Fedor and Korzanova Anna and Karpov Dmitry and Popov Alexander and Konovalov Vasily"
editor = "Hernandez Farias and Delia Irazu and Hope Tom and Li Manling",
booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
month = nov,
year = "2024",
address = "Miami, Florida, USA",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2024.emnlp-demo.47",
pages = "465--474",
abstract = "We present DeepPavlov 1.0, an open-source framework for using Natural Language Processing (NLP) models by leveraging transfer learning techniques. DeepPavlov 1.0 is created for modular and configuration-driven development of state-of-the-art NLP models and supports a wide range of NLP model applications. DeepPavlov 1.0 is designed for practitioners with limited knowledge of NLP/ML. DeepPavlov is based on PyTorch and supports HuggingFace transformers. DeepPavlov is publicly released under the Apache 2.0 license and provides access to an online demo.",
}
