DeepPavlov
Release 1.7.0
DeepPavlov 1.0은 Pytorch 및 Transformers를 기반으로 구축 된 오픈 소스 NLP 프레임 워크입니다. DeepPavlov 1.0은 최첨단 NLP 모델의 모듈 식 및 구성 중심 개발 개발을 위해 만들어졌으며 광범위한 NLP 모델 애플리케이션을 지원합니다. DeepPavlov 1.0은 NLP/ML에 대한 지식이 제한된 실무자를 위해 설계되었습니다.
| 이름 | 설명 |
|---|---|
| ️ 데모 | 온라인 데모에서 NLP 모델을 확인하십시오 |
| 선적 서류 비치 | DeepPavlov 1.0과 그 기능을 사용하는 방법 |
| 모델 목록 | 사용 가능한 모델 목록에서 필요한 NLP 모델 찾기 |
| ? 기여 가이드 | 기부를하기 전에 기여 가이드 라인을 읽으십시오 |
| ? 문제 | DeepPavlov에 문제가 있으면 알려주십시오. |
| ⏩ 포럼 | DeepPavlov에 문제가 있으면 알려주세요. |
| ? 블로그 | 현재 개발에 대해 읽으십시오 |
| ? 확장 된 Colab 튜토리얼 | 모델의 코드 자습서를 확인하십시오 |
| ? 도커 허브 | 빠른 배포는 Docker 이미지를 확인하십시오 |
| ? ? 피드백 | DeepPavlov를 개선하기 위해 피드백을 남겨주세요 |
3.7 MacOS Linux Python 3.6 Windows 10+ 3.8 3.9 3.10 사용 된 모델에 따라 4 ~ 16GB RAM이 필요할 수 있습니다.
가상 환경 생성 및 활성화 :
Linux python -m venv env
source ./env/bin/activate
환경 내부에 패키지를 설치하십시오.
pip install deeppavlov
DeepPavlov에는 미리 훈련 된 NLP 모델이 많이 있습니다. 각 모델은 구성 파일에 따라 결정됩니다.
모델 목록은 deeppavlov.configs (Python)의 Doc 페이지에서 사용할 수 있습니다.
from deeppavlov import configs모델 (+ 구성 파일)을 결정하면 교육, 평가 및 추론하는 두 가지 방법이 있습니다.
DeepPavlov는 기본적으로 PYPI에서 모델 요구 사항을 설치합니다. PYPI의 Pytorch는 장치 CUDA 기능을 지원할 수 없었습니다. GPU에서 지원되는 DeepPavlov 모델을 실행하려면 DeepPavlov 모델이 요구하는 중고 GPU 및 Pytorch 버전과 CUDA와 호환됩니다. 자세한 내용은 문서를 참조하십시오. 파스칼 또는 최신 아키텍처가있는 GPU 및 4 개 이상의 GB VRAM이 권장됩니다.
CLI를 통해 대화식으로 모델에서 예측을 얻으려면
python -m deeppavlov interact < config_path > [-d] [-i]-d 필요한 데이터 다운로드 - 사전 치료 된 모델 파일 및 임베딩 (선택 사항).-i 모델 요구 사항 (선택 사항)을 설치합니다.동일한 간단한 방식으로 훈련 할 수 있습니다.
python -m deeppavlov train < config_path > [-d] [-i] -d 플래그가 있는지 여부에 관계없이 데이터 세트는 다운로드됩니다.
자신의 데이터를 훈련하려면 Train Config Doc에서 데이터 세트 리더 경로를 수정해야합니다. 데이터 형식은 해당 모델 문서 페이지에 지정됩니다.
구성으로 수행 할 수있는 더 많은 작업이 있습니다.
python -m deeppavlov < action > < config_path > [-d] [-i]<action> 될 수 있습니다install ( -i 와 동일)download ( -d 와 동일),trainevaluateinteract .riseapi REST API 서버를 실행하려면 (문서 참조),-f <file_path> 샘플에 대한 예측을 predict .<config_path> Model의 구성 파일의 경로 (또는 이름)를 지정합니다-d 필요한 데이터를 다운로드합니다-i 모델 요구 사항을 설치합니다대화식으로 Python을 통해 모델에서 예측을 얻으려면
from deeppavlov import build_model
model = build_model ( < config_path > , install = True , download = True )
# get predictions for 'input_text1', 'input_text2'
model ([ 'input_text1' , 'input_text2' ])어디
install=True 모델 요구 사항 (선택 사항),download=True 다운로드 웹에서 필요한 데이터 - 사전 처리 된 모델 파일 및 임베딩 (선택 사항),<config_path> 는 모델 이름 (예 : 'ner_ontonotes_bert_mult' ), 선택한 모델의 구성 파일 (예 : "deeppavlov/configs/ner/ner_ontonotes_bert_mult.json" )으로가는 경로 또는 deeppavlov.configs attribute (eg deeppavlov.configs.ner.ner_ontonotes_bert_mult 인용 자국).동일한 간단한 방식으로 훈련 할 수 있습니다.
from deeppavlov import train_model
model = train_model ( < config_path > , install = True , download = True )자신의 데이터를 훈련하려면 Train Config Doc에서 데이터 세트 리더 경로를 수정해야합니다. 데이터 형식은 해당 모델 문서 페이지에 지정됩니다.
구성 파일에 지정된 데이터 세트에서 메트릭을 계산할 수도 있습니다.
from deeppavlov import evaluate_model
model = evaluate_model ( < config_path > , install = True , download = True )DeepPavlov는 또한 Python을 사용한 추론을 위해 구성 요소에서 모델을 구축 할 수 있습니다.
DeepPavlov는 Apache 2.0 -Licensed입니다.
@inproceedings{savkin-etal-2024-deeppavlov,
title = "DeepPavlov 1.0: Your Gateway to Advanced NLP Models Backed by Transformers and Transfer Learning",
author = "Savkin Maksim and Voznyuk Anastasia and Ignatov Fedor and Korzanova Anna and Karpov Dmitry and Popov Alexander and Konovalov Vasily"
editor = "Hernandez Farias and Delia Irazu and Hope Tom and Li Manling",
booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
month = nov,
year = "2024",
address = "Miami, Florida, USA",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2024.emnlp-demo.47",
pages = "465--474",
abstract = "We present DeepPavlov 1.0, an open-source framework for using Natural Language Processing (NLP) models by leveraging transfer learning techniques. DeepPavlov 1.0 is created for modular and configuration-driven development of state-of-the-art NLP models and supports a wide range of NLP model applications. DeepPavlov 1.0 is designed for practitioners with limited knowledge of NLP/ML. DeepPavlov is based on PyTorch and supports HuggingFace transformers. DeepPavlov is publicly released under the Apache 2.0 license and provides access to an online demo.",
}
