long range arena
1.0.0
الساحة بعيدة المدى هي محاولة نحو التقييم المنهجي لنماذج المحولات الفعالة. يهدف المشروع إلى إنشاء مهام/DTASETs القياسية التي يمكننا من خلالها تقييم النماذج القائمة على المحولات بطريقة منهجية ، من خلال تقييم قوة التعميم ، والكفاءة الحسابية ، ومطبوعة ذاكرة ، وما إلى ذلك.
كما تقوم Arena بعيدة المدى بتنفيذ متغيرات مختلفة من نماذج المحولات في Jax ، باستخدام الكتان.
يتضمن هذا الإصدار الأولي الأول معايير الورقة "Long Range Arena: معيار للمحولات الفعالة.
لقد أصدرنا حاليًا جميع التعليمات البرمجية اللازمة للبدء وتشغيل معاييرنا على محولات الفانيليا.
تحديث لقد أصدرنا نماذج Xformer المستخدمة في تجاربنا.
نحن نعمل على التحديث الثاني الذي سيصدر المزيد من الطرز وخطوط الأساس لهذا الجناح القياسي. ابقوا متابعين.
يرجى الاطلاع أدناه لمزيد من الأمثلة حول كيفية البدء.
نتائج المتصدرين الحالية لجميع نتائج Xformer على نتائجنا القياسية. (اعتبارًا من 8 نوفمبر 2020)
| نموذج | محولات | نص | استرجاع | صورة | طريق | PATH-X | متوسط |
|---|---|---|---|---|---|---|---|
| ATT المحلية | 15.82 | 52.98 | 53.39 | 41.46 | 66.63 | يفشل | 46.06 |
| خطي ترانس. | 16.13 | 65.90 | 53.09 | 42.34 | 75.30 | يفشل | 50.55 |
| مصلح | 37.27 | 56.10 | 53.40 | 38.07 | 68.50 | يفشل | 50.67 |
| متناثر. | 17.07 | 63.58 | 59.59 | 44.24 | 71.71 | يفشل | 51.24 |
| Sinkhorn trans. | 33.67 | 61.20 | 53.83 | 41.23 | 67.45 | يفشل | 51.29 |
| Linformer | 35.70 | 53.94 | 52.27 | 38.56 | 76.34 | يفشل | 51.36 |
| أداء | 18.01 | 65.40 | 53.82 | 42.77 | 77.05 | يفشل | 51.41 |
| المزج | 36.99 | 61.68 | 54.67 | 41.61 | 69.45 | يفشل | 52.88 |
| Longformer | 35.63 | 62.85 | 56.89 | 42.22 | 69.71 | يفشل | 53.46 |
| محول | 36.37 | 64.27 | 57.46 | 42.44 | 71.40 | يفشل | 54.39 |
| Bigbird | 36.05 | 64.02 | 59.29 | 40.83 | 74.87 | يفشل | 55.01 |
ندرج إدخالات الأوراق والتقديمات الأخرى التي استخدمت معيار LRA الخاص بنا.
| نموذج | محولات | نص | استرجاع | صورة | طريق | PATH-X | متوسط |
|---|---|---|---|---|---|---|---|
| الإغلو | 39.23 | 82 | 75.5 | 47.0 | 67.50 | نا | 62.25 |
| TLB | 37.05 | 81.88 | 76.91 | 57.51 | 79.06 | يفشل | 66.48 |
عمليات إرسال Igloo (بواسطة Vsevolod Sourkov) - https://github.com/redna11/lra-igloo
TLB (عنق الزجاجة الكامنة الزمنية) - transformer_tlb
إذا اكتشفت العمل المفيد ، فيرجى الاستشهاد بالورقة على:
@inproceedings{
tay2021long,
title={Long Range Arena : A Benchmark for Efficient Transformers },
author={Yi Tay and Mostafa Dehghani and Samira Abnar and Yikang Shen and Dara Bahri and Philip Pham and Jinfeng Rao and Liu Yang and Sebastian Ruder and Donald Metzler},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=qVyeW-grC2k}
}
** ملاحظة: يرجى أيضًا الاستشهاد بالمصادر الأصلية لمجموعات البيانات هذه! **
يرجى إرسال رابط الورقة (Arxiv ، أو المنشور) إلى Yi Tay أو Mostafa Dehghani (رسائل البريد الإلكتروني في الورق) لتضمين نتائجك الجديدة إلى لوحة المتصدرين. مثلما أعلاه ، سنضيف نتائج إلى جزء التقديم الخارجي من لوحة المتصدرين. هذا حتى أننا لا نشجع على تسلق التل على لوحة المتصدرين بل مقارنات ذات مغزى جنبًا إلى جنب.
نعتزم أن يكون معيارك بمثابة أداة وجناح لفحص سلوك النموذج. على هذا النحو ، إذا كنت تدير إعدادًا جديدًا وقمت بضبط hParams ، ففكر في تشغيل جميع النماذج الأخرى.
هذا الإعداد مخصص للأشخاص الذين يرغبون في المقارنة مع نتائجنا المنشورة مباشرة .
إعداد Hyperparameter الافتراضي (يجب أن يكون لكل معيار ملف تكوين الآن). لا يُسمح لك بتغيير أجهزة التمييز المفرط مثل تضمين حجمها ، والأبعاد المخفية ، وعدد طبقات النموذج الجديد.
يجب أن يكون النموذج الجديد في أحسن الأحوال أكبر بنسبة 10 ٪ من حيث المعلمات مقارنة بنموذج المحول الأساسي في ملف التكوين المقدم.
يُسمح لك بتشغيل أي حجم نموذج وتغيير أي مقياس فرط النموذج. ومع ذلك ، في النهاية ، لا يُسمح لك بالإبلاغ عن نتائج من لوحة المتصدرين لأنها لم تعد قابلة للمقارنة. يمكنك اختيار إعادة تشغيل النماذج من مكتبتنا في إعداد مماثل.
إذا قمت بتطوير أو استفدت من مجموعة واسعة من خطوط الأساس Xformer ، فلا تتردد في إخبارنا إذا كنت مهتمًا ببناء معايير جديدة. نرحب بالمساهمات في النماذج الجديدة أو القديمة التي لا يتم تغطيتها في الجناح الحالي.
في هذه الورقة ، لم نضع الأولوية لإجراء عمليات مسح HPARAM. إذا كنت تجد مشكلة متعلقة بالتنفيذ أو HPARAM أفضل تسمح للنموذج بالقيام بعمل أفضل في مهمة معينة ، فقم بإرسال PR (أو ملف تكوين جديد) وسنقوم بتشغيل النموذج مرة أخرى داخليًا وإبلاغ نتائج جديدة للنموذج الحالي.
النتائج الرسمية مخصصة فقط للرمز الذي تم التحقق منه وتشغيله في قاعدة كودنا. نقوم بالإبلاغ عن جميع عمليات التقديم الخارجية على أنها خارجية . إما إرسال العلاقات العامة ، رسالة بريد إلكتروني توضح لنا كيفية تشغيل النموذج الخاص بك في قاعدة الكود الخاصة بنا وسنقوم بتحديث النتائج وفقًا لذلك. (لاحظ بسبب قيود النطاق الترددي هذه العملية ستستغرق وقتًا كبيرًا).
لتشغيل مهمة ، قم بتشغيل ملف Train.py في دليل المهمة المقابل. (يرجى الاطلاع على كيفية الحصول على البيانات لبعض المهام إن وجدت).
PYTHONPATH="$(pwd)":"$PYTHON_PATH" python lra_benchmarks/listops/train.py
--config=lra_benchmarks/listops/configs/transformer_base.py
--model_dir=/tmp/listops
--task_name=basic
--data_dir=$HOME/lra_data/listops/
يصف هذا القسم طرق الحصول على مجموعات البيانات وتشغيل المهام في LRA.
لتنزيل مجموعات البيانات ، يرجى تنزيلها من gs://long-range-arena/lra_release . إذا فشلت الأذونات ، فيمكنك تنزيل ملف Gziped بالكامل على https://storage.googleapis.com/long-range-arena/lra_release.gz.
يمكن العثور على هذه المهمة في /listops . يمكن العثور على مجموعات البيانات المستخدمة في تجاربنا في دلاء Google Cloud هذه وتنسيق TSV.
إذا كنت ترغب في الانتقال إلى أطوال تسلسل أطول/أقصر ، فإننا ندعم أيضًا توليد الانقسام الخاص بك ، قم بتشغيل التعليق التالي:
PYTHONPATH="$(pwd)":"$PYTHON_PATH" python lra_benchmarks/data/listops.py --
--output_dir=$HOME/lra_data/listops/
يمكن العثور على هذه المهمة على /text_classification . لا يوجد أي إجراء مطلوب لأن هذه المهمة موجودة بالفعل في مجموعات بيانات TensorFlow. يجب أن يتم تشغيل الرمز كما هو.
يرجى تنزيل مجموعة البيانات على (http://aan.how/download/). يرجى تنزيل انقسامات القطار/الاختبار/dev من Google Cloud Bucket. لسوء الحظ ، لم نتمكن من إعادة توزيع مجموعات البيانات هذه ونطلق فقط المعرفات في تنسيق label paper1_id paper2_id . يمكنك تنزيل البيانات من المصدر الأصلي واستخراج البيانات النصية.
يمكن العثور على هذه المهمة في /image . لا يوجد أي إجراء مطلوب لأن هذه المهمة موجودة بالفعل في مجموعات بيانات TensorFlow. يجب أن تعمل خارج الصندوق.
يرجى الاطلاع على دليل ./data ، حيث يمكن العثور على منشئ TFDS لمجموعة بيانات Pathfinder. قمنا بإنشاء مجموعات بيانات مختلفة لمهمة Pathfinder ، مع مستويات مختلفة من الصعوبة باستخدام البرنامج النصي المقدم هنا. يمكنك العثور على معلومات حول المعلمات المستخدمة لـ generatinng البيانات في رمز Builder TFDS في ./data/pathfinder . نحن نستعد انشقاقات البيانات الدقيقة للإصدار في الوقت الحالي.
هذا ليس منتج Google الرسمي.
