DeepPavlov

Deeppavlov 1.0

Deeppavlov 1.0 هو إطار NLP مفتوح المصدر مبني على Pytorch والمحولات. يتم إنشاء Deeppavlov 1.0 لتطوير النماذج النيوارية القائمة على التكوين والتكوين ، ويدعم مجموعة واسعة من تطبيقات طراز NLP. تم تصميم Deeppavlov 1.0 للممارسين الذين لديهم معرفة محدودة بـ NLP/ML.

روابط سريعة

اسم	وصف
️ التجريبي	تحقق من نماذج NLP الخاصة بنا في العرض التوضيحي عبر الإنترنت
الوثائق	كيفية استخدام Deeppavlov 1.0 وميزاته
قائمة النموذج	ابحث عن نموذج NLP الذي تحتاجه في قائمة النماذج المتاحة
؟ دليل المساهمة	يرجى قراءة إرشادات المساهمة قبل تقديم مساهمة
؟ مشاكل	إذا كان لديك مشكلة مع Deeppavlov ، فيرجى إخبارنا
⏩ المنتدى	يرجى إعلامنا إذا كان لديك مشكلة مع Deeppavlov
؟ المدونات	اقرأ عن تطورنا الحالي
؟ دروس كولاب الممتدة	تحقق من برامج التعليمات البرمجية لنماذجنا
؟ Docker Hub	تحقق من صور Docker للنشر السريع
؟ ‍؟ تعليق	يرجى تركنا ملاحظاتك لجعل Deeppavlov أفضل

تثبيت

0. يدعم Deeppavlov Linux و Windows 10+ (من خلال WSL/WSL2) و MacOS (Big Sur+) منصات Python 3.6 و 3.7 و 3.8 و 3.9 و 3.10 . اعتمادًا على النموذج المستخدم ، قد تحتاج من 4 إلى 16 جيجابايت ذاكرة الوصول العشوائي.

1. إنشاء وتفعيل بيئة افتراضية:

   • Linux

    python -m venv env
   source ./env/bin/activate
   

2. قم بتثبيت الحزمة داخل البيئة:

    pip install deeppavlov
   

Quickstart

هناك مجموعة من نماذج NLP الرائعة التي تم تدريبها مسبقًا في Deeppavlov. يتم تحديد كل نموذج بواسطة ملف التكوين الخاص به.

قائمة النماذج متوفرة على صفحة DOC في deeppavlov.configs (Python):

 from deeppavlov import configs

عندما تقرر على النموذج (+ ملف التكوين) ، هناك طريقتان للتدريب وتقييم واستنتاج:

• عبر واجهة سطر الأوامر (CLI) و
• عبر بيثون.

متطلبات GPU

بشكل افتراضي ، يقوم Deeppavlov بتثبيت متطلبات النماذج من PYPI. لم يستطع Pytorch من PYPI دعم قدرة جهازك CUDA. لتشغيل نماذج Deeppavlov المدعومة على GPU ، يجب أن يكون لديك CUDA متوافقًا مع GPU المستخدمة و Pytorch التي تتطلبها طرز Deeppavlov. انظر المستندات للحصول على التفاصيل. يوصى GPU مع باسكال أو بنية أحدث و 4+ جيجابايت VRAM.

واجهة سطر الأوامر (CLI)

للحصول على تنبؤات من نموذج بشكل تفاعلي من خلال CLI ، قم بالتشغيل

python -m deeppavlov interact < config_path > [-d] [-i]

• -d تنزيل البيانات المطلوبة - ملفات النماذج المسبقة والتضمينات (اختيارية).
• -i تثبيت متطلبات النموذج (اختياري).

يمكنك تدريبه بنفس الطريقة البسيطة:

python -m deeppavlov train < config_path > [-d] [-i]

سيتم تنزيل مجموعة البيانات بغض النظر عما إذا كان هناك علامة -d أم لا.

للتدريب على البيانات الخاصة بك ، تحتاج إلى تعديل مسار قارئ مجموعة البيانات في Doc Config Train. يتم تحديد تنسيق البيانات في صفحة DOC النموذجية المقابلة.

هناك المزيد من الإجراءات التي يمكنك تنفيذها مع التكوينات:

python -m deeppavlov < action > < config_path > [-d] [-i]

• يمكن أن يكون <action>
  • install لتثبيت متطلبات النموذج (مثل -i ) ،
  • download لتنزيل بيانات الطراز (مثل -d ) ،
  • train لتدريب النموذج على البيانات المحددة في ملف التكوين ،
  • evaluate لحساب المقاييس على نفس مجموعة البيانات ،
  • interact للتفاعل عبر CLI ،
  • riseapi لتشغيل خادم API REST (انظر DOC) ،
  • predict بالحصول على تنبؤات للعينات من stdin أو من <ilem_path> إذا تم تحديد -f <file_path> .
• <config_path> يحدد المسار (أو الاسم) لملف تكوين النموذج
• -d تنزيل البيانات المطلوبة
• -i متطلبات النموذج

بيثون

للحصول على تنبؤات من نموذج تفاعلي من خلال بيثون ، قم بالتشغيل

 from deeppavlov import build_model

model = build_model ( < config_path > , install = True , download = True )

# get predictions for 'input_text1', 'input_text2'
model ([ 'input_text1' , 'input_text2' ])

أين

• install=True متطلبات النموذج (اختياري) ،
• download=True المطلوبة من ملفات الويب - ملفات النماذج المسبقة والتضمينات (اختيارية) ،
• <config_path> هو اسم الطراز (على سبيل المثال 'ner_ontonotes_bert_mult' ) ، مسار إلى ملف تكوين النموذج المختار (على سبيل المثال "deeppavlov/configs/ner/ner_ontonotes_bert_mult.json" ) أو deeppavlov.configs (eg deeppavlov.configs.ner.ner_ontonotes_bert_mult اقتباس علامات).

يمكنك تدريبه بنفس الطريقة البسيطة:

 from deeppavlov import train_model 

model = train_model ( < config_path > , install = True , download = True )

للتدريب على البيانات الخاصة بك ، تحتاج إلى تعديل مسار قارئ مجموعة البيانات في Doc Config Train. يتم تحديد تنسيق البيانات في صفحة DOC النموذجية المقابلة.

يمكنك أيضًا حساب المقاييس على مجموعة البيانات المحددة في ملف التكوين الخاص بك:

 from deeppavlov import evaluate_model 

model = evaluate_model ( < config_path > , install = True , download = True )

يسمح Deeppavlov أيضًا ببناء نموذج من مكونات الاستدلال باستخدام Python.

رخصة

Deeppavlov هو Apache 2.0 - مرخص.

اقتباس

 @inproceedings{savkin-etal-2024-deeppavlov,
    title = "DeepPavlov 1.0: Your Gateway to Advanced NLP Models Backed by Transformers and Transfer Learning",
    author = "Savkin Maksim and Voznyuk Anastasia and Ignatov Fedor and Korzanova Anna and Karpov Dmitry and Popov Alexander and Konovalov Vasily"
    editor = "Hernandez Farias and Delia Irazu and Hope Tom and Li Manling",
    booktitle = "Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    month = nov,
    year = "2024",
    address = "Miami, Florida, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.emnlp-demo.47",
    pages = "465--474",
    abstract = "We present DeepPavlov 1.0, an open-source framework for using Natural Language Processing (NLP) models by leveraging transfer learning techniques. DeepPavlov 1.0 is created for modular and configuration-driven development of state-of-the-art NLP models and supports a wide range of NLP model applications. DeepPavlov 1.0 is designed for practitioners with limited knowledge of NLP/ML. DeepPavlov is based on PyTorch and supports HuggingFace transformers. DeepPavlov is publicly released under the Apache 2.0 license and provides access to an online demo.",
}