DeepPavlov

Deeppavlov 1.0

Deeppavlov 1.0 ist ein Open-Source-NLP-Framework, das auf Pytorch und Transformers basiert. Deeppavlov 1.0 wird für modulare und konfigurationsorientierte Entwicklung hochmoderner NLP-Modelle erstellt und unterstützt eine breite Palette von NLP-Modellanwendungen. Deeppavlov 1.0 ist für Praktiker mit begrenztem Kenntnis von NLP/ML konzipiert.

Schnelle Links

Name	Beschreibung
️ Demo	Schauen Sie sich unsere NLP -Modelle in der Online -Demo an
Dokumentation	So verwenden Sie Deeppavlov 1.0 und seine Funktionen
Modellliste	Suchen Sie das NLP -Modell, das Sie in der Liste der verfügbaren Modelle benötigen
? Beitragsleitfaden	Bitte lesen Sie die Beitragsrichtlinien, bevor Sie einen Beitrag leisten
? Probleme	Wenn Sie ein Problem mit Deeppavlov haben, lassen Sie es uns bitte wissen
⏩ Forum	Bitte lassen Sie uns wissen, ob Sie ein Problem mit Deeppavlov haben
? Blogs	Lesen Sie über unsere aktuelle Entwicklung
? Erweiterte Colab -Tutorials	Schauen Sie sich die Code -Tutorials für unsere Modelle an
? Docker Hub	Schauen Sie sich die Docker -Bilder zur schnellen Bereitstellung an
? ‍? Rückmeldung	Bitte lassen Sie uns Ihr Feedback, um Deeppavlov besser zu machen

Installation

0. Deeppavlov unterstützt Linux , Windows 10+ (über WSL/WSL2), MacOS (Big Sur+) -Plattformen, Python 3.6 , 3.7 , 3.8 , 3.9 und 3.10 . Abhängig vom verwendeten Modell benötigen Sie möglicherweise von 4 bis 16 GB RAM.

1. Erstellen und aktivieren Sie eine virtuelle Umgebung:

   • Linux

    python -m venv env
   source ./env/bin/activate
   

2. Installieren Sie das Paket in der Umgebung:

    pip install deeppavlov
   

QuickStart

In Deeppavlov gibt es ein paar großartige NLP-Modelle vorgeblieben. Jedes Modell wird durch seine Konfigurationsdatei bestimmt.

Die Liste der Modelle ist auf der DOC -Seite in der deeppavlov.configs (Python) verfügbar:

 from deeppavlov import configs

Wenn Sie sich für das Modell (+ Konfigurationsdatei) entscheiden, gibt es zwei Möglichkeiten, es zu trainieren, zu bewerten und zu schließen:

• über Befehlszeilenschnittstellen (CLI) und
• über Python.

GPU -Anforderungen

Standardmäßig installiert Deeppavlov Modelle Anforderungen von PYPI. Pytorch von PYPI konnte Ihre Geräte -CUDA -Fähigkeit nicht unterstützen. Um unterstützte Deeppavlov -Modelle an der GPU auszuführen, sollten Sie eine CUDA mit der verwendeten GPU- und Pytorch -Version kompatibel haben, die von Deeppavlov -Modellen erforderlich ist. Weitere Informationen finden Sie unter Dokumente. GPU mit Pascal oder neuerer Architektur und 4+ GB VRAM wird empfohlen.

Befehlszeilenschnittstelle (CLI)

Vorhersagen von einem Modell interaktiv durch CLI zu erhalten, rennen Sie

python -m deeppavlov interact < config_path > [-d] [-i]

• -d Downloads Erforderliche Daten - vorbereitete Modelldateien und Einbettungen (optional).
• -i installiert die Modellanforderungen (optional).

Sie können es auf die gleiche einfache Weise trainieren:

python -m deeppavlov train < config_path > [-d] [-i]

Der Datensatz wird heruntergeladen, unabhängig davon, ob es -d -Flag gab oder nicht.

Um Ihre eigenen Daten zu trainieren, müssen Sie den Dataset -Reader -Pfad im Zugkonfigurationsdokument ändern. Das Datenformat ist auf der entsprechenden Modell -DOC -Seite angegeben.

Es gibt noch mehr Aktionen, die Sie mit Konfigurationen ausführen können:

python -m deeppavlov < action > < config_path > [-d] [-i]

• <action> kann sein
  • install , um die Modellanforderungen zu installieren (gleich wie -i ),
  • download , um die Daten des Modells herunterzuladen (gleich wie -d ),
  • train , um das Modell auf den in der Konfigurationsdatei angegebenen Daten zu trainieren.
  • evaluate , um Metriken im selben Datensatz zu berechnen,
  • interact , um über CLI zu interagieren,
  • riseapi zum Ausführen eines REST -API -Servers (siehe DOC),
  • predict , Vorhersage für Beispiele von Stdin oder von <File_Path> zu erhalten, wenn -f <file_path> angegeben ist.
• <config_path> Gibt Pfad (oder Name) der Konfigurationsdatei des Modells an
• -d Downloads erforderliche Daten
• -i installiert die Modellanforderungen

Python

Um Vorhersagen aus einem Modell interaktiv durch Python zu erhalten, laufen Sie

 from deeppavlov import build_model

model = build_model ( < config_path > , install = True , download = True )

# get predictions for 'input_text1', 'input_text2'
model ([ 'input_text1' , 'input_text2' ])

Wo

• install=True installiert die Modellanforderungen (optional),
• download=True Downloads Erforderliche Daten aus Web - vorgefertigte Modelldateien und Einbettungen (optional),
• <config_path> ist Modellname (z. 'ner_ontonotes_bert_mult' ), Pfad zur Konfigurationsdatei des ausgewählten Modells (z. B. "deeppavlov/configs/ner/ner_ontonotes_bert_mult.json" ), oder deeppavlov.configs (eg deeppavlov.configs.ner.ner_ontonotes_bert_mult (eg deeppavlov.configs.ner.Ner_NOntons_bertes_bertes_Berots_bertes_bertes_bertes_bertes_Bern). Zitat Markierungen).

Sie können es auf die gleiche einfache Weise trainieren:

 from deeppavlov import train_model 

model = train_model ( < config_path > , install = True , download = True )

Um Ihre eigenen Daten zu trainieren, müssen Sie den Dataset -Reader -Pfad im Zugkonfigurationsdokument ändern. Das Datenformat ist auf der entsprechenden Modell -DOC -Seite angegeben.

Sie können auch Metriken auf dem in Ihrer Konfigurationsdatei angegebenen Datensatz berechnen:

 from deeppavlov import evaluate_model 

model = evaluate_model ( < config_path > , install = True , download = True )

Mit Deeppavlov können auch ein Modell aus Komponenten für Inferenz mithilfe von Python erstellt werden.

Lizenz

Deeppavlov ist Apache 2.0 - lizenziert.

Zitat

 @inproceedings{savkin-etal-2024-deeppavlov,
    title = "DeepPavlov 1.0: Your Gateway to Advanced NLP Models Backed by Transformers and Transfer Learning",
    author = "Savkin Maksim and Voznyuk Anastasia and Ignatov Fedor and Korzanova Anna and Karpov Dmitry and Popov Alexander and Konovalov Vasily"
    editor = "Hernandez Farias and Delia Irazu and Hope Tom and Li Manling",
    booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    month = nov,
    year = "2024",
    address = "Miami, Florida, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.emnlp-demo.47",
    pages = "465--474",
    abstract = "We present DeepPavlov 1.0, an open-source framework for using Natural Language Processing (NLP) models by leveraging transfer learning techniques. DeepPavlov 1.0 is created for modular and configuration-driven development of state-of-the-art NLP models and supports a wide range of NLP model applications. DeepPavlov 1.0 is designed for practitioners with limited knowledge of NLP/ML. DeepPavlov is based on PyTorch and supports HuggingFace transformers. DeepPavlov is publicly released under the Apache 2.0 license and provides access to an online demo.",
}