awesome huggingface

رهيبة معانغ

هذه قائمة ببعض المشاريع والتطبيقات الرائعة مفتوحة المصدر المدمجة مع مكتبات الوجه المعانقة.

كيفية المساهمة

؟ المكتبات الرسمية

طرفان رائع أشياء مصنوعة من ❤؟ الوجه المعانقة.

• Transformers-معالجة اللغة الطبيعية الحديثة لـ Jax و Pytorch و TensorFlow.
• مجموعات البيانات-أكبر مركز لمجموعات بيانات NLP جاهزة للاستخدام لنماذج ML مع أدوات معالجة البيانات سريعة وسهلة الاستخدام وفعالة.
• الرمز المميز-المميزات السريعة على أحدث طراز محسّن للبحث والإنتاج.
• Knockknock - احصل على إخطار عندما ينتهي التدريب بخطين إضافيين فقط من التعليمات البرمجية.
• Accelerate-طريقة بسيطة لتدريب واستخدام نماذج Pytorch مع GPU متعددة ، TPU ، الدقة المختلطة.
• AutonLP-تدريب نماذج معالجة اللغة الطبيعية الحديثة ونشرها في بيئة قابلة للتطوير تلقائيًا.
• NN_PRUNING - تقليم نموذج أثناء التحويل أو التدريب.
• Huggingface_hub - مكتبة العميل لتنزيل ونشر النماذج والملفات الأخرى على Huggingface.co Hub.
• Tune - معيار لمقارنة النماذج القائمة على المحولات.

؟ ‍؟ دروس

تعلم كيفية استخدام مجموعات أدوات Hugging Face ، خطوة بخطوة.

• الدورة الرسمية (من Hugging Face) - سلسلة الدورات الرسمية التي توفرها؟ الوجه المعانقة.
• Transformers-Tutorials (بواسطة nielsrogge)-البرامج التعليمية لتطبيق نماذج متعددة على مجموعات بيانات العالم الحقيقي.

؟ مجموعات أدوات NLP

مجموعات أدوات NLP مبنية على المحولات. الجيش السويسري!

• Allennlp (من AI2) - مكتبة أبحاث NLP مفتوحة المصدر.
• Graph4NLP - تمكين الاستخدام السهل للشبكات العصبية الرسم البياني لـ NLP.
• محولات البرق - المحولات مع واجهة البرق Pytorch.
• محولات المحول-تمديد مكتبة Transformers ، ودمج المحولات في نماذج اللغة الحديثة.
• OBSEI - أداة أتمتة سير العمل المنخفضة الرمز من الذكاء الاصطناعي وتنفيذ مختلف مهام NLP في خط أنابيب سير العمل.
• Trapper (من OBSS)-أحدث NLP من خلال نماذج المحولات في تصميم وحدات وواجهة برمجة التطبيقات المتسقة.
• FLAIR-إطار عمل بسيط للغاية لحالة NLP الحديثة.

؟ تمثيل النص

تحويل جملة إلى ناقل.

• محولات الجملة (من ukplab) - عمليات تشفير مستخدمة على نطاق واسع تقوم بحساب تمثيلات ناقلات كثيفة للجمل والفقرات والصور.
• Whiteningbert (من Microsoft) - جملة سهلة غير خاضعة للإشراف نهج تضمين مع التبييض.
• Simcse (من Princeton)-جملة من بين الأحدث تدمير مع التعلم التباين.
• عبارات كثيفة (من برينستون) - تعلم تمثيلات كثيفة للعبارات على نطاق واسع.

محركات الاستدلال

محركات الاستدلال المحسنة للغاية تنفذ واجهات برمجة التطبيقات المتوافقة مع المحولات.

• محولات التوربينات (من tencent) - محرك الاستدلال للمحولات مع API سريع C ++.
• FasterTransformer (من NVIDIA) - برنامج نصي ووصفة لتشغيل مكون التشفير ومكون وحدة فك الترميز المُحسّنة للغاية على NVIDIA GPU.
• Lightseq (من bytedance) - مكتبة استدلال عالية الأداء لمعالجة التسلسل وتوليد تنفيذ في CUDA.
• Fastseq (من Microsoft) - التنفيذ الفعال لنماذج التسلسل الشعبية (على سبيل المثال ، BART ، PROPHETNET) لتوليد النص ، تلخيص ، مهام الترجمة وما إلى ذلك.

؟ قابلية التوسع النموذج

نماذج التوازي عبر وحدات معالجة الرسومات المتعددة.

• Parallelformers (من Tunib) - مكتبة للنشر الموازي النموذج.
• أوسلو (من تونيب) - مكتبة تدعم ميزات مختلفة لمساعدتك في تدريب النماذج واسعة النطاق.
• Deepspeed (من Microsoft) - Deepedspeed -Zero - يحدد أي حجم نموذج مع صفر إلى أي تغييرات على النموذج. مدمجة مع مدرب HF.
• Fairscale (من Facebook) - ينفذ بروتوكول الصفر أيضًا. مدمجة مع مدرب HF.
• Colossalai (من HPCaitech) - نظام تعليمي عميق موحد للتدريب المتوازي على نطاق واسع (1D ، 2D ، 2.5D ، 3D والتسلسل التوازي ، وبروتوكول الصفر).

؟ ️ ضغط النموذج/التسارع

ضغط أو تسريع النماذج لتحسين سرعة الاستنتاج.

• Torchdistill-الإطار المعياري القائم على Pytorch ، يحركه التكوين لتقطير المعرفة.
• TextBrewer (من HFL)-أساليب التقطير الحديثة لضغط نماذج اللغة.
• Bert-Of-the Extus (من Microsoft)-ضغط BERT عن طريق استبدال مكونات BERT الأصلية تدريجيا.

هجوم عدواني

إجراء هجوم الخصية لاختبار متانة النموذج.

• TextAttack (من UVA) - إطار Python لهجمات الخصومة ، وزيادة البيانات ، والتدريب النموذجي في NLP.
• TextFlint (من Fudan) - مجموعة أدوات تقييم متانة متعددة اللغات موحدة لـ NLP.
• OpenAttack (من الخميس) - مجموعة أدوات هجوم نصي مفتوحة المصدر.

؟ نقل النمط

نقل نمط النص! أنت تعرف الآن لماذا يسمى Transformer؟

• StyleFormer - إطار نقل نمط اللغة العصبية لنقل النص بسلاسة بين الأنماط.
• CORSERT - إطار عمل متناقض لنقل تمثيل الجملة الخاضع للإشراف ذاتيا.

؟ تحليل المشاعر

تحليل مشاعر وعواطف البشر.

• تقديس - تنفيذ بنيات مختلفة للتعرف على العاطفة في المحادثات.

؟ تصحيح الخطأ النحوي

لقد صنعت مطبعية! دعني أصححها.

• Gramformer - إطار للكشف عن الأخطاء النحوية وتسليط الضوء عليها وتصحيحها على نص اللغة الطبيعية.

؟ ترجمة

ترجمة بين لغات مختلفة.

• DL-Translate-مكتبة ترجمة عميقة قائمة على التعلم تعتمد على محولات HF.
• EasyNMT (من ukplab)-مكتبة ترجمة سهلة الاستخدام ، على أحدث طراز وصور Docker استنادًا إلى محولات HF.

المعرفة والكيان

تعلم المعرفة ، وكيانات التعدين ، وربط العالم.

• نقي (من برينستون) - كيان واستخراج العلاقة من النص.

؟ خطاب

معالجة الكلام مدعوم من مكتبات HF. تحتاج إلى الكلام!

• S3PRL-مجموعة أدوات التعلم التي تم إشرافها ذاتيا قبل التدريب والتمثيل.
• Prokingbrain - مجموعة أدوات الكلام القائمة على Pytorch.

؟ متعددة الوسائط

فهم العالم من طرائق مختلفة.

• Vilt (من Kakao)-محول الرؤية واللغة دون إشراف في المنطقة أو الإشراف على المنطقة.

؟ التعلم التعزيز

الجمع بين RL Magic مع NLP!

• TRL - المحولات الدقيقة باستخدام تحسين السياسة القريبة (PPO) للتوافق مع التفضيلات البشرية.

❓ أسئلة الإجابة

البحث عن إجابات؟ المحولات إلى الإنقاذ!

• Haystack (من Deepset)-إطار عمل شامل لتطوير ونشر أنظمة إجابة الأسئلة في البرية.

؟ أنظمة التوصية

أعتقد أن هذا مناسب لك!

• Transformers4Rec (من NVIDIA) - مكتبة مرنة وفعالة مدعومة بواسطة محولات للتوصيات المتسلسلة والقائمة على الجلسة.

⚖ التقييم

تقييم مخرجات النماذج وجودة البيانات مدعومة بواسطة مجموعات بيانات HF!

• هيئة المحلفين (من OBSS)-أداة سهلة الاستخدام لتقييم مخرجات نموذج NLP ، بشكل speswive لـ NLG (توليد اللغة الطبيعية) ، مما يوفر العديد من المقاييس الآلية للنص إلى النص.
• Spotlight - استكشاف مجموعة بيانات HF بشكل تفاعلي مع سطر واحد من التعليمات البرمجية. استخدم نتائج النموذج (على سبيل المثال التضمينات والتنبؤات) لفهم شرائح البيانات الهامة وأنماط فشل النموذج.

؟ البحث العصبي

البحث ، ولكن مع قوة الشبكات العصبية!

• Jina Integration - Jina Integration of Lugging Face API.
• تكامل Weaviate (Text2Vec) (QA) - تكامل Weaviate لمحولات الوجه المعانقة.
• كولبيرت (من ستانفورد) - نموذج استرجاع سريع ودقيق ، يمكّن البحث القابل للتطوير القابل للتطوير على مجموعات نصية كبيرة في عشرات المللي ثانية.

☁ السحابة

السحابة تجعل حياتك سهلة!

• Amazon Sagemaker - مما يجعل من الأسهل من أي وقت مضى تدريب نماذج محولات الوجه المعانقة في Amazon Sagemaker.

الأجهزة

البنية التحتية التي تتيح أن يحدث السحر.

• Qualcomm - التعاون على تمكين المحولات في Snapdragon.
• Intel - التعاون مع Intel لخيارات التكوين.