DeepPavlov

Deeppavlov 1.0

O DEEPPAVLOV 1.0 é uma estrutura de NLP de código aberto construído sobre Pytorch e Transformers. O DEEPPAVLOV 1.0 é criado para o desenvolvimento modular e orientado a configuração dos modelos de PNL de última geração e suporta uma ampla gama de aplicativos de modelo de PNL. O DEEPPAVLOV 1.0 foi projetado para profissionais com conhecimento limitado de NLP/ml.

Links rápidos

nome	Descrição
Demoção	Confira nossos modelos de PNL na demonstração online
Documentação	Como usar o Deeppavlov 1.0 e seus recursos
Lista de modelos	Encontre o modelo PNL que você precisa na lista de modelos disponíveis
? Guia de contribuição	Leia as diretrizes de contribuição antes de fazer uma contribuição
? Problemas	Se você tiver um problema com o deeppavlov, informe -nos
⏩ Fórum	Informe -nos se você tiver um problema com o deeppavlov
? Blogs	Leia sobre nosso desenvolvimento atual
? Tutoriais estendidos de colab	Confira os tutoriais de código para nossos modelos
? Docker Hub	Confira as imagens do Docker para implantação rápida
? ‍? Opinião	Por favor, deixe seus comentários para melhorar o deeppavlov

Instalação

0. Deeppavlov suporta Linux , Windows 10+ (através de WSL/WSL2), MacOS (Big SUR+), Python 3.6 , 3.7 , 3.8 , 3.9 e 3.10 . Dependendo do modelo usado, você pode precisar de 4 a 16 GB de RAM.

1. Crie e ativar um ambiente virtual:

   • Linux

    python -m venv env
   source ./env/bin/activate
   

2. Instale o pacote dentro do ambiente:

    pip install deeppavlov
   

Investir rápido

Há um monte de ótimos modelos de PNL pré-treinados em Deeppavlov. Cada modelo é determinado pelo seu arquivo de configuração.

A lista de modelos está disponível na página do documento no deeppavlov.configs (python):

 from deeppavlov import configs

Quando você está decidido sobre o modelo (+ arquivo de configuração), há duas maneiras de treinar, avaliar e inferir:

• via interface da linha de comando (CLI) e
• via python.

Requisitos de GPU

Por padrão, o Deeppavlov instala os requisitos de modelos da Pypi. O Pytorch da Pypi não pôde suportar sua capacidade de CUDA de dispositivo. Para executar os modelos deeppavlov suportados na GPU, você deve ter o CUDA compatível com a versão usada GPU e Pytorch exigida pelos modelos Deeppavlov. Veja os documentos para obter detalhes. Recomenda -se GPU com arquitetura Pascal ou mais recente e VRAM de mais de 4 GB.

Interface da linha de comando (CLI)

Para obter previsões de um modelo interativamente através da CLI, execute

python -m deeppavlov interact < config_path > [-d] [-i]

• -d Downloads necessários dados - arquivos e incorpitadores de modelo pré -terenciados (opcional).
• -i instalos requisitos do modelo (opcional).

Você pode treiná -lo da mesma maneira simples:

python -m deeppavlov train < config_path > [-d] [-i]

O conjunto de dados será baixado, independentemente de haver -d Sinalizador ou não.

Para treinar seus próprios dados, você precisa modificar o caminho do leitor do conjunto de dados no documento de configuração do trem. O formato de dados é especificado na página de documentos do modelo correspondente.

Existem ainda mais ações que você pode executar com as configurações:

python -m deeppavlov < action > < config_path > [-d] [-i]

• <action> pode ser
  • install para instalar os requisitos do modelo (o mesmo que -i ),
  • download para baixar os dados do modelo (o mesmo que -d ),
  • train para treinar o modelo nos dados especificados no arquivo de configuração,
  • evaluate para calcular métricas no mesmo conjunto de dados,
  • interact para interagir via CLI,
  • riseapi para executar um servidor de API REST (consulte Doc),
  • predict obter previsão para amostras de stdin ou de <File_Path> se -f <file_path> é especificado.
• <config_path> especifica o caminho (ou nome) do arquivo de configuração do modelo
• -d Downloads necessários
• -i instalos requisitos do modelo

Python

Para obter previsões de um modelo interativamente através do Python, execute

 from deeppavlov import build_model

model = build_model ( < config_path > , install = True , download = True )

# get predictions for 'input_text1', 'input_text2'
model ([ 'input_text1' , 'input_text2' ])

onde

• install=True Installs Modelo Requisitos (Opcional),
• download=True necessários dados da Web - arquivos e incorporação de modelo pré -terenciados (opcional),
• <config_path> é o nome do modelo (por exemplo 'ner_ontonotes_bert_mult' ), caminho para o arquivo de configuração do modelo escolhido (por exemplo, "deeppavlov/configs/ner/ner_ontonotes_bert_mult.json" ) ou deeppavlov.configs attrition (gen deeppavlov.configs.ner.ner_ontonotes_bert_mult sem aspas).

Você pode treiná -lo da mesma maneira simples:

 from deeppavlov import train_model 

model = train_model ( < config_path > , install = True , download = True )

Para treinar seus próprios dados, você precisa modificar o caminho do leitor do conjunto de dados no documento de configuração do trem. O formato de dados é especificado na página de documentos do modelo correspondente.

Você também pode calcular métricas no conjunto de dados especificado em seu arquivo de configuração:

 from deeppavlov import evaluate_model 

model = evaluate_model ( < config_path > , install = True , download = True )

Deeppavlov também permite criar um modelo a partir de componentes para inferência usando Python.

Licença

Deeppavlov é o Apache 2.0 - licenciado.

Citação

 @inproceedings{savkin-etal-2024-deeppavlov,
    title = "DeepPavlov 1.0: Your Gateway to Advanced NLP Models Backed by Transformers and Transfer Learning",
    author = "Savkin Maksim and Voznyuk Anastasia and Ignatov Fedor and Korzanova Anna and Karpov Dmitry and Popov Alexander and Konovalov Vasily"
    editor = "Hernandez Farias and Delia Irazu and Hope Tom and Li Manling",
    booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    month = nov,
    year = "2024",
    address = "Miami, Florida, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.emnlp-demo.47",
    pages = "465--474",
    abstract = "We present DeepPavlov 1.0, an open-source framework for using Natural Language Processing (NLP) models by leveraging transfer learning techniques. DeepPavlov 1.0 is created for modular and configuration-driven development of state-of-the-art NLP models and supports a wide range of NLP model applications. DeepPavlov 1.0 is designed for practitioners with limited knowledge of NLP/ML. DeepPavlov is based on PyTorch and supports HuggingFace transformers. DeepPavlov is publicly released under the Apache 2.0 license and provides access to an online demo.",
}