nlp architect

️ وقف المشروع - لن يتم الحفاظ على هذا المشروع من قبل Intel. تم تحديد هذا المشروع على أنه يهرب من الأمن المعروف. توقفت Intel إلى التطوير والمساهمات بما في ذلك ، على سبيل المثال لا الحصر ، الصيانة ، إصلاحات الأخطاء ، الإصدارات الجديدة ، أو التحديثات ، لهذا المشروع. لم تعد Intel تقبل تصحيحات هذا المشروع.

مكتبة التعلم العميق NLP/NLU من Intel® AI Lab

نظرة عامة | نماذج | التثبيت | أمثلة | الوثائق | دروس | المساهمة

NLP Architect هي مكتبة بيثون مفتوحة المصدر لاستكشاف طبولوجيا وتقنيات التعلم العميق على أحدث طراز لتحسين معالجة اللغة الطبيعية وفهم الشبكات العصبية.

ملخص

NLP Architect هي مكتبة NLP مصممة لتكون مرنة وسهلة تمديدها ، تسمح بتكامل سهل وسريع لنماذج NLP في التطبيقات وعرض النماذج المحسنة.

سمات:

• نماذج NLP الأساسية المستخدمة في العديد من مهام NLP ومفيدة في العديد من تطبيقات NLP

• نماذج NLU جديدة تعرض طبولوجيا وتقنيات جديدة

• نماذج NLP/NLU المحسنة تعرض خوارزميات تحسين مختلفة على نماذج NLP/NLU العصبية

• التصميم الموجهة نحو النموذج:

  • تدريب وتشغيل النماذج من سطر الأوامر.
  • API لاستخدام نماذج للاستدلال في بيثون.
  • إجراءات لتحديد العمليات المخصصة للتدريب أو الاستدلال أو أي شيء يتعلق بالمعالجة.
  • نظام CLI الفرعي لإجراءات التشغيل

• بناءً على أطر التعلم العميق الأمثل:

  • Tensorflow
  • Pytorch
  • Dynet

• الأدوات المساعدة الأساسية للعمل مع نماذج NLP-المعالجة المسبقة للنص/السلسلة ، IO ، معالجة البيانات ، المقاييس ، التضمينات.

تثبيت NLP Architect

نوصي بتثبيت NLP Architect في بيئة Python جديدة ، لاستخدام Python 3.6+ مع محدثة pip و setuptools و h5py .

تثبيت باستخدام pip

تثبيت المكتبة الأساسية فقط

pip install nlp-architect

تثبيت من المصدر (github)

يتضمن المكتبة الأساسية والأمثلة والحلول والدروس:

git clone https://github.com/IntelLabs/nlp-architect.git
cd nlp-architect
pip install -e .  # install in developer mode

تشغيل الأمثلة والحلول

لتشغيل الأمثلة والحلول المتوفرة ، يرجى تثبيت المكتبة مع علامة [all] التي ستقوم بتثبيت حزم إضافية مطلوبة. (يتطلب التثبيت من المصدر)

pip install .[all]

النماذج

نماذج NLP التي توفر أفضل (أو قريبة) في أداء الفصل:

• صراخ الكلمات
• اسم التعرف على الكيان
• التبعية التحليل
• استخراج القصد
• تصنيف المشاعر
• نماذج اللغة
• المحولات (لمهام NLP)

نماذج فهم اللغة الطبيعية (NLU) التي تتناول الفهم الدلالي:

• تحليل المشاعر القائمة على الجانب (ABSA)
• الكشف عن نية المفصل وعلامة الفتحات
• تمثيل التضمين عبارة عن عبارة (NP2VEC)
• الكشف عن إحساس الكلمة الأكثر شيوعا
• تحديد العلاقة
• Cross Document Coreference
• عبارة الاسم التجزئة الدلالية

تحسين نماذج NLP/NLU و MISC. تقنيات التحسين:

• بيرت الكمي (8bit)
• تقطير المعرفة باستخدام المحولات
• ترجمة الآلة العصبية المتناثرة والكمية (GNMT)

الحلول (التطبيقات الشاملة) باستخدام نموذج واحد أو أكثر:

• توسع مجموعة المصطلح - يستخدم Word chunker المضمّن كمستخرج عبارة الاسم و NP2VEC لإنشاء مجموعات مصطلح دلالي
• مواضيع وتحليل الاتجاه - تحليل عبارات الاتجاه في الشركات الزمنية
• تحليل المشاعر القائمة على الجانب (ABSA)

الوثائق

يمكن العثور على وثائق المكتبة الكاملة لنماذج NLP والخوارزميات والحلول والتعليمات حول كيفية تشغيل كل نموذج على موقعنا.

فلسفة تصميم مكتبة NLP Architect

NLP Architect هي مكتبة موجهة نحو النموذج مصممة لعرض التحسينات الجديدة للشبكة العصبية. تحتوي المكتبة على نماذج مرتبطة بـ NLP/NLU لكل مهمة ، وطبولوجيا شبكة عصبية مختلفة (والتي يتم استخدامها في النماذج) ، وإجراءات تبسيط سير العمل في المكتبة ومعالجات البيانات المحددة مسبقًا وأجهزة تحميل مجموعة البيانات ومرافق MISC. تم تصميم المكتبة لتكون أداة لتطوير النموذج: البيانات قبل العملية ، أو بناء النموذج ، أو القطار ، والتحقق من صحة ، أو استنتاج ، أو حفظ أو تحميل نموذج.

إرشادات التصميم الرئيسية هي:

• إطار التعلم العميق لاأدري
• نماذج NLP/NLU لكل مهمة
• طبولوجيا مختلفة تستخدم في النماذج
• عرض التطبيقات من طرف إلى طرف (حلول) باستخدام نموذج مهندس معماري واحد أو أكثر
• لوادر مجموعات البيانات العامة ، أدوات معالجة البيانات النصية ، والمرافق المتنوعة التي تدعم تطوير نموذج NLP (اللوادر ، معالجات النص ، IO ، المقاييس ، إلخ)
• إجراءات تحديد العمليات للتدريب أو الاستدلال أو التحسين أو أي نوع من السيناريو المتقن.
• API Pythonic لاستخدام نماذج للاستدلال
• توثيق نماذج واسعة النموذج والدروس التعليمية

ملحوظة

NLP Architect هي مساحة نشطة للبحث والتطوير. من خلال الإصدارات المستقبلية ، سيتم إجراء النماذج والحلول والطوبولوجيا والإضافات والتغييرات الجديدة. نحن نهدف إلى التأكد من أن جميع النماذج تعمل مع Python 3.6+. نحن نشجع الباحثين والمطورين على المساهمة بعملهم في المكتبة.

نقلا عن

إذا كنت تستخدم NLP Architect في بحثك ، فيرجى استخدام الاقتباس التالي:

 @misc{izsak_peter_2018_1477518,
  title        = {NLP Architect by Intel AI Lab},
  month        = nov,
  year         = 2018,
  doi          = {10.5281/zenodo.1477518},
  url          = {https://doi.org/10.5281/zenodo.1477518}
}

تنصل

يتم إصدار NLP Architect كرمز مرجعي لأغراض البحث. إنه ليس منتجًا رسميًا Intel ، وقد لا يكون مستوى الجودة والدعم كما هو متوقع من منتج رسمي. يهدف NLP Architect إلى استخدامه محليًا ولم يتم تصميمه أو تطويره أو تقييمه لاستخدام الإنتاج أو النشر على الويب. من المقرر أن تتم إضافتها إلى الخوارزميات والبيئات الإضافية إلى الإطار. التعليقات والمساهمات من مجتمعات الأبحاث المفتوحة المصدر ومجتمعات NLP هي أكثر من موضع ترحيب.

اتصال

اتصل بفريق تطوير NLP Architect من خلال قضايا GitHub أو البريد الإلكتروني: [email protected]