الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل


ECCO هي مكتبة Python لاستكشاف وشرح نماذج معالجة اللغة الطبيعية باستخدام تصورات تفاعلية.

يوفر ECCO واجهات متعددة للمساعدة في شرح وحدس نماذج اللغة القائمة على المحولات. اقرأ: واجهات لشرح نماذج لغة المحولات.

تعمل ECCO داخل دفاتر Jupyter. وهي مبنية على قمة Pytorch والمحولات.

لا تهتم ECCO بالتدريب أو النماذج الدقيقة. فقط استكشاف وفهم النماذج الموجودة مسبقًا. المكتبة هي حاليا إصدار ألفا لمشروع بحثي. اهلا وسهلا بكم للمساهمة في جعلها أفضل!

الوثائق: ecco.ReadTheDocs.io

سمات

  • دعم لمجموعة واسعة من نماذج اللغة (GPT2 و BERT و Roberta و T5 و T0 وغيرها) [دفتر ملاحظات وإرشادات لإضافة المزيد من النماذج].
  • القدرة على إضافة النماذج المحلية الخاصة بك (إذا كانت تعتمد على عانق نماذج Pytorch).
  • ميزة إسناد الميزة (integratratedgradients ، ealains ، inputexgradient ، deeplift ، deepliftshap ، و suckedbackprop ، و suckedgradcam ، و deconvolution ، و LRP عبر captum)
  • التقاط تنشيطات الخلايا العصبية في طبقة FFNN في كتلة المحولات
  • تحديد وتصور أنماط تنشيط الخلايا العصبية (عبر معامل المصفوفة غير السلبية)
  • فحص تنشيط الخلايا العصبية عبر مقارنات من مساحات التنشيط باستخدام SVCCA و PWCCA و CKA (انظر هذا الفيديو حول فحص الشبكات العصبية مع CCA)
  • تصورات:
    • تطور معالجة رمز رمزي من خلال طبقات النموذج (عدسة السجل)
    • رموز الإخراج المرشح واحتمالاتها (في كل طبقة في النموذج)

تثبيت

يمكنك تثبيت ecco إما مع pip أو مع conda .

مع PIP 

pip install ecco

مع كوندا 

conda install -c conda-forge ecco

أمثلة:

يمكنك تشغيل كل هذه الأمثلة من هذا [Notebook] | [كولاب].

ما هو شعور مراجعة الفيلم هذه؟

استخدم نموذج لغة كبير (T5 في هذه الحالة) للكشف عن معنويات النص. بالإضافة إلى المشاعر ، راجع الرموز التي حطمت النموذج النص (والتي يمكن أن تساعد في تصحيح بعض حالات الحافة).

ما هي الكلمات في هذا الاستعراض التي تقود النموذج لتصنيف مشاعرها على أنها "سلبية"؟

إن إسناد الميزات باستخدام التدرجات المتكاملة يساعدك على استكشاف قرارات النماذج. في هذه الحالة ، يتيح تبديل "الضعف" إلى "الميل" للنموذج تبديل التنبؤ بشكل صحيح إلى إيجابية .

استكشف المعرفة العالمية لنماذج GPT من خلال طرح الأسئلة الفارغة.

هل يعرف GPT2 أين يوجد مطار هيثرو؟ نعم. يفعل.

ما هي المدن/الكلمات الأخرى التي اعتبرها النموذج بالإضافة إلى لندن؟

تصور الرموز المخرجات المرشحة ودرجات احتمالية.

ما هي كلمات المدخلات التي تقودها إلى التفكير في لندن؟

في أي طبقات جمعت النموذج أن لندن هي الإجابة الصحيحة؟

اختار النموذج لندن من خلال جعل الرمز المميز لأعلى احتمال (ترتيبه رقم 1) بعد الطبقة الأخيرة في النموذج. كم ساهم كل طبقة في زيادة ترتيب لندن ؟ هذه تصورات عدسة لوجيت تساعد في استكشاف نشاط طبقات النماذج المختلفة.

ما هي الأنماط في تنشيط الخلايا العصبية Bert عندما تقوم بمعالجة قطعة من النص؟

تميل مجموعة من الخلايا العصبية في بيرت إلى إطلاق النار استجابةً للفواصل وعلامات الترقيم الأخرى. تميل مجموعات أخرى من الخلايا العصبية إلى إطلاق النار استجابة للضمائر. استخدم هذا التصور لعوامل نشاط الخلايا العصبية في طبقات FFNN الفردية أو في النموذج بأكمله.

اقرأ الورقة:

ECCO: مكتبة مفتوحة المصدر لشرح توضيح نظام النماذج اللغوية لعلم اللغويات الحاسوبية (ACL) ، 2021

دروس

  • الفيديو: ألقِ نظرة داخل نماذج اللغة مع ECCO. [دفتر كولاب]

إرشادات

  • واجهات لشرح نماذج لغة المحولات
  • إيجاد الكلمات التي تقول: تصورات الحالة المخفية لنماذج اللغة

مرجع API

تشرح مرجع API وصفحة الهندسة المعمارية مكونات ECCO وكيفية عملها معًا.

معرض وأمثلة

الرموز المتوقعة: عرض تنبؤ النموذج للرمز المميز التالي (مع درجات الاحتمالات). انظر كيف تطورت التنبؤات من خلال طبقات النموذج. [دفتر ملاحظات] [كولاب]

التصنيفات عبر الطبقات: بعد أن يختار النموذج رمز الإخراج ، انظر إلى الوراء في كيفية تصنيف كل طبقة من الرمز المميز. [دفتر ملاحظات] [كولاب]

تنبؤات الطبقة: قارن تصنيفات الرموز المتعددة كمرشحين لموقف معين في التسلسل. [دفتر ملاحظات] [كولاب]

السمات الأولية: ما مقدار مساهمة كل رمز مدخلات في إنتاج رمز الإخراج؟ [دفتر ملاحظات] [كولاب]

سمات أساسية مفصلة: راجع قيم سمات إدخال أكثر دقة باستخدام العرض التفصيلي. [دفتر ملاحظات] [كولاب]

تحليل تنشيط الخلايا العصبية: فحص الأنماط الأساسية في تنشيط الخلايا العصبية باستخدام معامل المصفوفة غير السلبي. [دفتر ملاحظات] [كولاب]

الحصول على المساعدة

تواجه مشكلة؟

  • قد يكون لدى لوحة المناقشة بعض المعلومات ذات الصلة. إذا لم يكن كذلك ، يمكنك نشر أسئلتك هناك.
  • الإبلاغ عن الأخطاء في تعقب إصدار ECCO

bibtex للاستشهادات: 

 @inproceedings { alammar-2021-ecco ,
    title = " Ecco: An Open Source Library for the Explainability of Transformer Language Models " ,
    author = " Alammar, J " ,
    booktitle = " Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing: System Demonstrations " ,
    year = " 2021 " ,
    publisher = " Association for Computational Linguistics " ,
}
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل