DeepPavlov
Release 1.7.0
Deeppavlov 1.0は、PytorchおよびTransformers上に構築されたオープンソースNLPフレームワークです。 Deeppavlov 1.0は、最先端のNLPモデルのモジュール式および構成駆動型開発用に作成され、幅広いNLPモデルアプリケーションをサポートしています。 Deeppavlov 1.0は、NLP/MLの知識が限られている開業医向けに設計されています。
| 名前 | 説明 |
|---|---|
| §デモ | オンラインデモのNLPモデルをご覧ください |
| ドキュメント | Deeppavlov 1.0とその機能の使用方法 |
| モデルリスト | 利用可能なモデルのリストで必要なNLPモデルを見つける |
| ？貢献ガイド | 貢献する前に、寄付ガイドラインをお読みください |
| ？問題 | Deeppavlovに問題がある場合は、お知らせください |
| ⏩フォーラム | Deeppavlovに問題がある場合はお知らせください |
| ？ブログ | 現在の開発について読んでください |
| ？拡張コラブチュートリアル | モデルのコードチュートリアルをご覧ください |
| ？ Dockerハブ | 迅速な展開についてはDocker画像をご覧ください |
| ？？フィードバック | Deeppavlovを改善するために、フィードバックを残してください |
Deeppavlovは、 Linux 、 Windows 10+ （WSL/WSL2を介して）、 MacOS （Big Sur+）プラットフォーム、 Python 3.6 3.7 3.8 3.9い3.10 。使用するモデルによっては、4〜16 GBのRAMが必要になる場合があります。
仮想環境を作成してアクティブ化します。
Linux python -m venv env
source ./env/bin/activate
環境内にパッケージをインストールします。
pip install deeppavlov
Deeppavlovには、事前に訓練された素晴らしいNLPモデルがたくさんあります。各モデルは、その構成ファイルによって決定されます。
モデルのリストは、 deeppavlov.configs （python）のドキュメントページで入手できます。
from deeppavlov import configsモデル（+ configファイル）を決定すると、トレーニング、評価、推測する方法が2つあります。
デフォルトでは、DeeppavlovはPYPIのモデル要件をインストールします。 PypiのPytorchは、デバイスのCUDA機能をサポートできませんでした。 GPUでサポートされているDeeppavlovモデルを実行するには、Deeppavlovモデルで必要な使用済みGPUおよびPytorchバージョンと互換性がある必要があります。詳細については、ドキュメントを参照してください。 Pascalまたは新しいアーキテクチャと4+ GB VRAMを備えたGPUをお勧めします。
CLIを通じてインタラクティブにモデルから予測を取得するには、実行してください
python -m deeppavlov interact < config_path > [-d] [-i]-d必要なデータのダウンロード - 事前に処理されたモデルファイルと埋め込み（オプション）。-iモデル要件（オプション）をインストールします。同じ簡単な方法でトレーニングできます。
python -m deeppavlov train < config_path > [-d] [-i]データセットは、 -dフラグがあったかどうかに関係なくダウンロードされます。
独自のデータをトレーニングするには、Train Config Docのデータセットリーダーパスを変更する必要があります。データ形式は、対応するモデルドキュメントページで指定されています。
構成で実行できるアクションがさらに多くあります。
python -m deeppavlov < action > < config_path > [-d] [-i]<action>はそうですinstallモデル要件をインストールします（ -iと同じ）、download （ -dと同じ）、train 、evaluate 。interact 、riseapi （docを参照）、-f <file_path>が指定されている場合、 stdinまたは<file_path>からサンプルの予測を取得するとpredict 。<config_path>モデルのconfigファイルのパス（または名前）を指定します-d必要なデータをダウンロードします-iモデル要件をインストールしますPythonを介してモデルからインタラクティブに予測を取得するには、実行してください
from deeppavlov import build_model
model = build_model ( < config_path > , install = True , download = True )
# get predictions for 'input_text1', 'input_text2'
model ([ 'input_text1' , 'input_text2' ])どこ
install=Trueインストールモデル要件（オプション）、download=TrueダウンロードWebから必要なデータ - 事前に処理されたモデルファイルと埋め込み（オプション）、<config_path>はモデル名（ 'ner_ontonotes_bert_mult'など）、選択したモデルのconfigファイルへのパス（ "deeppavlov/configs/ner/ner_ontonotes_bert_mult.json" deeppavlov.configs.ner.ner_ontonotes_bert_mult deeppavlov.configs引用符）。同じ簡単な方法でトレーニングできます。
from deeppavlov import train_model
model = train_model ( < config_path > , install = True , download = True )独自のデータをトレーニングするには、Train Config Docのデータセットリーダーパスを変更する必要があります。データ形式は、対応するモデルドキュメントページで指定されています。
構成ファイルで指定されたデータセットのメトリックを計算することもできます。
from deeppavlov import evaluate_model
model = evaluate_model ( < config_path > , install = True , download = True )Deeppavlovでは、Pythonを使用した推論用のコンポーネントからモデルを構築することもできます。
DeeppavlovはApache 2.0-ライセンスです。
@inproceedings{savkin-etal-2024-deeppavlov,
title = "DeepPavlov 1.0: Your Gateway to Advanced NLP Models Backed by Transformers and Transfer Learning",
author = "Savkin Maksim and Voznyuk Anastasia and Ignatov Fedor and Korzanova Anna and Karpov Dmitry and Popov Alexander and Konovalov Vasily"
editor = "Hernandez Farias and Delia Irazu and Hope Tom and Li Manling",
booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
month = nov,
year = "2024",
address = "Miami, Florida, USA",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2024.emnlp-demo.47",
pages = "465--474",
abstract = "We present DeepPavlov 1.0, an open-source framework for using Natural Language Processing (NLP) models by leveraging transfer learning techniques. DeepPavlov 1.0 is created for modular and configuration-driven development of state-of-the-art NLP models and supports a wide range of NLP model applications. DeepPavlov 1.0 is designed for practitioners with limited knowledge of NLP/ML. DeepPavlov is based on PyTorch and supports HuggingFace transformers. DeepPavlov is publicly released under the Apache 2.0 license and provides access to an online demo.",
}
