DeepPavlov

DEEPPAVLOV 1.0

DEEPPAVLOV 1.0 adalah kerangka kerja NLP open-source yang dibangun di atas Pytorch dan Transformers. DEEPPAVLOV 1.0 dibuat untuk pengembangan modular dan yang digerakkan oleh konfigurasi model NLP canggih dan mendukung berbagai aplikasi model NLP. DEEPPAVLOV 1.0 dirancang untuk praktisi dengan pengetahuan terbatas tentang NLP/mL.

Tautan cepat

nama	Keterangan
️ Demo	Lihat model NLP kami di demo online
Dokumentasi	Cara menggunakan deeppavlov 1.0 dan fitur -fiturnya
Daftar Model	Temukan model NLP yang Anda butuhkan dalam daftar model yang tersedia
? Panduan Kontribusi	Harap baca pedoman kontribusi sebelum memberikan kontribusi
? Masalah	Jika Anda memiliki masalah dengan Deeppavlov, beri tahu kami
⏩ Forum	Beri tahu kami jika Anda memiliki masalah dengan Deeppavlov
? Blog	Baca tentang perkembangan kami saat ini
? Tutorial Colab yang diperluas	Lihat tutorial kode untuk model kami
? Hub Docker	Lihat gambar Docker untuk penyebaran cepat
? ‍? Masukan	Silakan tinggalkan umpan balik Anda untuk membuat DEEPPAVLOV menjadi lebih baik

Instalasi

0. DEEPPAVLOV mendukung platform Linux , Windows 10+ (melalui WSL/WSL2), MacOS (Big Sur+), Python 3.6 , 3.7 , 3.8 , 3.9 dan 3.10 . Bergantung pada model yang digunakan, Anda mungkin perlu dari 4 hingga 16 GB RAM.

1. Buat dan aktifkan lingkungan virtual:

   • Linux

    python -m venv env
   source ./env/bin/activate
   

2. Instal paket di dalam lingkungan:

    pip install deeppavlov
   

QuickStart

Ada banyak model NLP pra-terlatih yang hebat di Deeppavlov. Setiap model ditentukan oleh file konfigurasi.

Daftar model tersedia di halaman DOC di deeppavlov.configs (Python):

 from deeppavlov import configs

Ketika Anda diputuskan pada model (+ file konfigurasi), ada dua cara untuk melatih, mengevaluasi dan menyimpulkannya:

• melalui antarmuka baris perintah (CLI) dan
• melalui Python.

Persyaratan GPU

Secara default, Deeppavlov menginstal persyaratan model dari PYPI. Pytorch dari PYPI tidak dapat mendukung kemampuan CUDA perangkat Anda. Untuk menjalankan model deeppavlov yang didukung pada GPU, Anda harus memiliki CUDA yang kompatibel dengan versi GPU dan Pytorch bekas yang diperlukan oleh model deeppavlov. Lihat dokumen untuk detailnya. GPU dengan pascal atau arsitektur yang lebih baru dan 4+ GB VRAM direkomendasikan.

Antarmuka baris perintah (CLI)

Untuk mendapatkan prediksi dari model secara interaktif melalui CLI, jalankan

python -m deeppavlov interact < config_path > [-d] [-i]

• -d Unduh Data yang Diperlukan - File model dan embeddings pretrained (opsional).
• -i menginstal persyaratan model (opsional).

Anda dapat melatihnya dengan cara sederhana yang sama:

python -m deeppavlov train < config_path > [-d] [-i]

Dataset akan diunduh terlepas dari apakah ada bendera -d atau tidak.

Untuk melatih data Anda sendiri, Anda perlu memodifikasi jalur pembaca Dataset di dokumen Config Train. Format data ditentukan dalam halaman DOC Model yang sesuai.

Ada lebih banyak tindakan yang dapat Anda lakukan dengan konfigurasi:

python -m deeppavlov < action > < config_path > [-d] [-i]

• <action> bisa
  • install untuk menginstal persyaratan model (sama dengan -i ),
  • download untuk mengunduh data model (sama dengan -d ),
  • train untuk melatih model pada data yang ditentukan dalam file config,
  • evaluate untuk menghitung metrik pada dataset yang sama,
  • interact untuk berinteraksi melalui CLI,
  • riseapi untuk menjalankan server API REST (lihat DOC),
  • predict untuk mendapatkan prediksi untuk sampel dari STDIN atau dari <FILE_PATH> if -f <file_path> ditentukan.
• <config_path> Menentukan path (atau nama) dari file konfigurasi model
• -d Unduh Data yang Diperlukan
• -i menginstal persyaratan model

Python

Untuk mendapatkan prediksi dari model secara interaktif melalui Python, jalankan

 from deeppavlov import build_model

model = build_model ( < config_path > , install = True , download = True )

# get predictions for 'input_text1', 'input_text2'
model ([ 'input_text1' , 'input_text2' ])

Di mana

• install=True Instals Model Persyaratan (Opsional),
• download=True Data yang Diperlukan dari Web - File Model Pretrained dan Embeddings (Opsional),
• <config_path> adalah nama model (misalnya 'ner_ontonotes_bert_mult' ), jalur ke file konfigurasi model yang dipilih (misalnya "deeppavlov/configs/ner/ner_ontonotes_bert_mult.json" ), atau deeppavlov.configs atribute (EGREPAV.NEPNAV. atau deeppavlov.configs.ner.ner_ontonotes_bert_mult (EGREPAV.CONCERONC.CONONCON (EGERNEV.CONGER.FEROND.CONONCON (EGNERG.ONGER. tanda kutip).

Anda dapat melatihnya dengan cara sederhana yang sama:

 from deeppavlov import train_model 

model = train_model ( < config_path > , install = True , download = True )

Untuk melatih data Anda sendiri, Anda perlu memodifikasi jalur pembaca Dataset di dokumen Config Train. Format data ditentukan dalam halaman DOC Model yang sesuai.

Anda juga dapat menghitung metrik pada dataset yang ditentukan dalam file konfigurasi Anda:

 from deeppavlov import evaluate_model 

model = evaluate_model ( < config_path > , install = True , download = True )

Deeppavlov juga memungkinkan untuk membangun model dari komponen untuk inferensi menggunakan python.

Lisensi

Deeppavlov adalah Apache 2.0 - berlisensi.

Kutipan

 @inproceedings{savkin-etal-2024-deeppavlov,
    title = "DeepPavlov 1.0: Your Gateway to Advanced NLP Models Backed by Transformers and Transfer Learning",
    author = "Savkin Maksim and Voznyuk Anastasia and Ignatov Fedor and Korzanova Anna and Karpov Dmitry and Popov Alexander and Konovalov Vasily"
    editor = "Hernandez Farias and Delia Irazu and Hope Tom and Li Manling",
    booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    month = nov,
    year = "2024",
    address = "Miami, Florida, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.emnlp-demo.47",
    pages = "465--474",
    abstract = "We present DeepPavlov 1.0, an open-source framework for using Natural Language Processing (NLP) models by leveraging transfer learning techniques. DeepPavlov 1.0 is created for modular and configuration-driven development of state-of-the-art NLP models and supports a wide range of NLP model applications. DeepPavlov 1.0 is designed for practitioners with limited knowledge of NLP/ML. DeepPavlov is based on PyTorch and supports HuggingFace transformers. DeepPavlov is publicly released under the Apache 2.0 license and provides access to an online demo.",
}