الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

دروس المحولات Pytorch

دروس المحولات

مقدمة

أحدث ثورة في مجال NLP في عام 2018 من خلال إدخال Bert وأصدقائه المحولات (Roberta ، XLM وما إلى ذلك).

هذه هياكل الشبكة العصبية القائمة على المحولات الجديدة وطرق جديدة لتدريب شبكة عصبية على بيانات اللغة الطبيعية قدمت التعلم النقل لمشاكل NLP. كان التعلم النقل قد أعطى نتائج على أحدث طراز في مجال رؤية الكمبيوتر لبضع سنوات حتى الآن ، وقد أدى إدخال نماذج المحولات لـ NLP إلى نفس التغيير في النموذج في NLP.

قامت شركات مثل Google و Facebook بتدريب شبكاتها العصبية على مساحات كبيرة من بيانات اللغة الطبيعية لفهم تعقيدات اللغة وبالتالي توليد نموذج لغة. أخيرًا ، تم ضبط هذه النماذج بشكل دقيق لمجموعة بيانات المجال المحددة لتحقيق نتائج أحدث لبيان مشكلة محددة. كما نشروا هذه النماذج المدربة لمجتمع المصدر المفتوح. أصبح أعضاء المجتمع قادرين الآن على ضبط هذه النماذج لحالات الاستخدام المحددة الخاصة بهم.

جعلت وجه المعانقة من السهل على المجتمع الوصول إلى هذه النماذج وضبطها باستخدام حزمة Python الخاصة بهم: Transformers.

تحفيز

على الرغم من أن هذه التطورات التكنولوجية المذهلة التي تطبق هذه الحلول على مشاكل العمل لا تزال تحديًا نظرًا للمعرفة المتخصصة المطلوبة لفهم هذه الطريقة وتطبيقها على بيانات المشكلات المحددة. وبالتالي ، في البرامج التعليمية التالية ، سأوضح كيف يمكن للمستخدم الاستفادة من التقنيات إلى جانب بعض أدوات Python الأخرى لضبط نماذج اللغة هذه لنوع معين من المهام.

قبل أن أتقدم ، أود أن أذكر المجموعات التالية للعمل الرائع الذي يقومون به ومشاركته والذي جعل هذه الدفاتر والدروس التعليمية ممكنة:

يرجى مراجعة مصادر المعلومات المذهلة هذه والاشتراك في قنواتهم/مصادرهم.

  • معانقة فريق الوجه
  • Abhishek Thakur لمقاطع فيديو YouTube المذهلة

تصريحات المشكلة التي سأعمل معها هي:

دفتر رابط جيثب رابط كولاب kaggle kernel
تصنيف النص: متعدد الطبقات جيثب kaggle
تصنيف النص: متعدد العلامات جيثب kaggle
تصنيف المشاعر مع تتبع التجربة في Wandb! جيثب
اسم التعرف على الكيان: مع معالجة TPU! جيثب kaggle
إجابة سؤال
كتابة موجزة: مع تتبع التجربة في Wandb! جيثب kaggle

هيكل الدليل

  1. data : يحتوي هذا المجلد على جميع بيانات الألعاب المستخدمة للضبط الدقيق.
  2. utils : سيحتوي هذا المجلد على أي نص متنوع يستخدم للتحضير للضبط الدقيق.
  3. models : مجلد لحفظ جميع القطع الأثرية تنشر ضبطًا دقيقًا.

مزيد من المشاهدة/القراءة

سأحاول تغطية الجوانب العملية والتنفيذ لضبط نماذج اللغة هذه على مختلف مهام NLP. يمكنك تحسين معرفتك حول هذا الموضوع من خلال قراءة/مشاهدة الموارد التالية.

  • مراقبة

    • مقدمة بعبارات بسيطة
    • نقل التعلم في NLP
    • سلسلة أبحاث Bert من ChrismCcormickai

  • قراءة

    • توثيق المحولات
    • وثائق Pytorch
    • مدونة Google AI
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل