mindnlp

Mindnlp

جدول المحتويات

• Mindnlp
  • جدول المحتويات
  • أخبار ؟
  • تثبيت
    • تثبيت من PYPI
    • بناء يومي
    • تثبيت من المصدر
    • توافق الإصدار
  • مقدمة
    • ميزات رئيسية
  • النماذج المدعومة
  • رخصة
  • ردود الفعل والاتصال
  • Mindspore nlp sig
  • شكر وتقدير
  • اقتباس

أخبار ؟

• أحدث الميزات

  • ؟ 250+ نماذج pretRained تدعم واجهات برمجة تطبيقات Like Transformers . يمكنك استخدامها بسهولة عن طريق متابعة قصاصة الرمز:

     from mindnlp . transformers import AutoModel
    
    model = AutoModel . from_pretrained ( 'bert-base-cased' )

  • دعم منصة كاملة : دعم شامل Ascend 910 series ، Ascend 310B (Orange Pi) ، GPU ، و CPU . (ملاحظة: حاليًا مجموعة تطوير الذكاء الاصطناعى الوحيدة المتوفرة على Orange Pi.)
  • الاستدلال الموازي الموزعة : دعم الاستدلال المتوازي متعدد العمليات ، متعدد العمليات للنماذج التي تتجاوز 10B.
  • دعم الخوارزمية الكمي : SmoothQuant متاح للبرتقال PI ؛ bitsandbytes-like int8 الكمية المدعومة على GPU.
  • دعم محول الجملة : يمكّن تطوير خرقة فعالة (جيل معجّل للاسترجاع).
  • تحسين أداء الرسم البياني الديناميكي : يحقق سرعات الاستدلال على مستوى GPU Pytorch+على مستوى GPU للرسوم البيانية الديناميكية على أجهزة Ascend (أداء Llama اختباره في 85ms/Token ).
  • توحيد الرسم البياني الثابت والديناميكي الحقيقي : التبديل بين الخط الواحد إلى وضع الرسم البياني مع mindspore.jit ، متوافق تمامًا مع نمط رمز الوجه المعانقة لكل من سهولة الاستخدام وتحسين الأداء السريع. يصل أداء Llama الذي تم اختباره على Ascend Hardware إلى سرعة الرسم البياني الديناميكي ( 45 مللي ثانية/رمز ) ، بما يتوافق مع الأجنحة الأخرى المستندة إلى الرسم البياني في Mindspore.
  • تحديثات تطبيق LLM واسعة النطاق : تتضمن Text information extraction ، Chatbots ، Speech recognition ، ChatPDF ، Music generation ، Code generation ، Voice clone ، إلخ. مع زيادة دعم النماذج ، حتى التطبيقات الأكثر إثارة تنتظر التطوير!

تثبيت

تثبيت من PYPI

يمكنك تثبيت الإصدار الرسمي من Mindnlp الذي تم تحميله على PYPI.

pip install mindnlp

بناء يومي

يمكنك تنزيل Mindnlp Daily Wheel من هنا.

تثبيت من المصدر

لتثبيت Mindnlp من المصدر ، يرجى تشغيل:

pip install git+https://github.com/mindspore-lab/mindnlp.git
# or
git clone https://github.com/mindspore-lab/mindnlp.git
cd mindnlp
bash scripts/build_and_reinstall.sh

توافق الإصدار

إصدار Mindnlp	نسخة Mindspore	دعم Python نسخة
يتقن	بناء يومي	> = 3.7.5 ، <= 3.9
0.1.1	> = 1.8.1 ، <= 2.0.0	> = 3.7.5 ، <= 3.9
0.2.x	> = 2.1.0	> = 3.8 ، <= 3.9
0.3.x	> = 2.1.0 ، <= 2.3.1	> = 3.8 ، <= 3.9
0.4.x	> = 2.2.x	> = 3.9 ، <= 3.11

مقدمة

Mindnlp هي مكتبة NLP مفتوحة المصدر تعتمد على Mindspore. وهو يدعم منصة لحل مهام معالجة اللغة الطبيعية ، والتي تحتوي على العديد من الأساليب الشائعة في NLP. يمكن أن يساعد الباحثين والمطورين على بناء وتدريب النماذج بشكل أكثر ملاءمة وسرعة.

يعمل الفرع الرئيسي مع Mindspore Master .

ميزات رئيسية

• معالجة البيانات الشاملة : يتم تعبئة العديد من مجموعات بيانات NLP الكلاسيكية في وحدة ودية لسهولة الاستخدام ، مثل Multi30k ، فرقة ، conll ، إلخ.
• مجموعة أدوات طراز NLP الودية : توفر Mindnlp العديد من المكونات القابلة للتكوين. إنه ودود لتخصيص النماذج باستخدام Mindnlp.
• محرك سهل الاستخدام : تبسيط Mindnlp عملية التدريب المعقدة في Mindspore. وهو يدعم واجهات المدرب والمقيّم لتدريب وتقييم النماذج بسهولة.

النماذج المدعومة

نظرًا لوجود الكثير من النماذج المدعومة ، يرجى التحقق هنا

رخصة

يتم إصدار هذا المشروع بموجب ترخيص Apache 2.0.

ردود الفعل والاتصال

لا يزال الإصدار الديناميكي قيد التطوير ، إذا وجدت أي مشكلة أو لديك فكرة عن ميزات جديدة ، فالرجاء عدم التردد في الاتصال بنا عبر مشكلات github.

Mindspore nlp sig

Mindspore NLP SIG (مجموعة مصلحة خاصة في اللغة الطبيعية) هو الفريق الرئيسي للتطوير في إطار Mindnlp. ويهدف إلى التعاون مع المطورين من كل من الصناعة والأوساط الأكاديمية المهتمين بالبحث وتطوير التطبيقات والتنفيذ العملي لمعالجة اللغة الطبيعية. هدفنا هو إنشاء أفضل إطار عمل NLP استنادًا إلى الإطار المحلي Mindspore. بالإضافة إلى ذلك ، نعقد بانتظام جلسات مشاركة تقنية NLP والأحداث غير المتصلة بالإنترنت. يمكن للمطورين المهتمين الانضمام إلى مجموعة SIG باستخدام رمز الاستجابة السريعة أدناه.

شكر وتقدير

Mindspore هو مشروع مفتوح المصدر يرحب بأي مساهمة وردود فعل.
نتمنى أن يخدم صندوق الأدوات والمعيار الأبحاث المتنامية
المجتمع من خلال توفير مجموعة أدوات مرنة وكذلك موحدة لإعادة تنفيذ الأساليب الحالية
وتطوير أساليب التجزئة الدلالية الجديدة الخاصة بهم.

اقتباس

إذا وجدت هذا المشروع مفيدًا في بحثك ، فيرجى التفكير في:

@misc{mindnlp2022,
    title={{MindNLP}: Easy-to-use and high-performance NLP and LLM framework based on MindSpore},
    author={MindNLP Contributors},
    howpublished = { url {https://github.com/mindlab-ai/mindnlp}},
    year={2022}
}