gobbli

هذه مكتبة مصممة لتوفير واجهة موحدة لنماذج التعلم العميقة المختلفة للنص عبر حاويات Docker التي تم إنشاؤها برمجياً.

الاستخدام

راجع مستندات المتطلبات المسبقة ، و Quickstart ، و API Reference. باختصار ، تحتاج إلى تثبيت Docker مع أذونات مناسبة لحساب المستخدم الخاص بك لتشغيل أوامر Docker و Python 3.7. ثم قم بتشغيل ما يلي:

 pip install gobbli

قد ترغب أيضًا في الاطلاع على المعايير لمعرفة بعض المقارنات لتنفيذ Gobbli لنماذج مختلفة في مواقف مختلفة.

تفاعلي

يوفر Gobbli تطبيقات مبتدئة لأداء بعض المهام التفاعلية في متصفح الويب ، مثل استكشاف البيانات وتقييم النموذج. بمجرد تثبيت المكتبة ، يمكنك تشغيل التطبيقات المجمعة باستخدام تطبيق سطر أوامر gobbli . تحقق من المستندات لمزيد من المعلومات.

تطوير

على افتراض أن لديك جميع المتطلبات المذكورة أعلاه ، تحتاج إلى تثبيت الحزمة وجميع التبعيات الاختيارية المطلوبة في وضع التطوير:

 pip install -e ".[augment,tokenize,interactive]"

تثبيت تبعيات DEV إضافية:

 pip install -r requirements.txt

قم بتشغيل linting و itsoformating واختبارات:

 ./run_ci.sh

لتجنب إصلاح بعض هذه الأخطاء يدويًا ، فكر في تمكين isort والدعم الأسود في المحرر المفضل لديك.

إذا كنت تقوم بإجراء اختبارات في بيئة بأقل من 12 جيجابايت من الذاكرة ، فستحتاج إلى تمرير وسيطة --low-resource عند إجراء اختبارات لتجنب أخطاء الذاكرة.

ملاحظة: إذا كانت تعمل على جهاز Mac ، حتى مع توفر الذاكرة الكافية ، فقد تواجه أخطاء الذاكرة (حالة الخروج 137) عند إجراء الاختبارات. ويرجع ذلك إلى عدم تخصيص ذاكرة كافية لخفي Docker الخاص بك. حاول الذهاب إلى Docker لـ Mac -> التفضيلات -> المتقدمة ورفع "الذاكرة" إلى 12GIB أو أكثر.

إذا كنت ترغب في تشغيل اختبارات GPU (S) ، راجع --use-gpu و- --nvidia-visible-devices تحت py.test --help . إذا لم يكن لدى جهازك المحلي وحدة معالجة الرسومات NVIDIA ، ولكن لديك وصول إلى جهاز يعمل عبر SSH ، يمكنك استخدام البرنامج النصي test_remote_gpu.sh لتمكين الاختبارات باستخدام GPU الممكّن عبر SSH.

مستندات

لإنشاء مستندات ، قم بتثبيت متطلبات المستندات:

 pip install -r docs/requirements.txt

نظرًا لأن بنية DOC تم إنشاؤها تلقائيًا من المكتبة ، يجب أن يكون لديك المكتبة (وجميع تبعياتها) مثبتة أيضًا.

ثم ، قم بتشغيل ما يلي من جذر المستودع:

 ./generate_docs.sh

ثم تصفح الوثائق التي تم إنشاؤها في docs/_build/html .

الإسناد

لن يكون Gobbli موجودًا بدون الإفراج العام للعديد من النماذج الحديثة. تتضمن المكتبة:

• بيرت ، أصدرته جوجل
• MT-DNN ، أصدرته Microsoft
• تشفير الجملة العالمي ، أصدرته جوجل
• fasttext ، أصدره Facebook
• المحولات ، التي أصدرت عن طريق العناق الوجه
• Spacy ، عن طريق الانفجار
• Scikit-Learn

تم تمويل العمل الأصلي على المكتبة من قبل RTI International.

تصميم شعار من قبل مارسيا أندروود.