RobustLR

Robustlr

Robustlr: معيار تشخيصي لتقييم المتانة المنطقية للمناطق الاستنتاجية

نظرة عامة على Robustlr

نتوقع أن يكون نموذج التفكير الاستنتاجي القوي قويًا للتغيرات المنطقية في المدخلات. هنا ، فشل النموذج في فهم التزامن المنطقي في المثال الثاني ويتوقع أن يستلزم الخاطئ للبيان.

التبعيات

• يمكن تثبيت التبعيات باستخدام requirements.txt .

خط أنابيب لتشغيل الرمز

1. أولاً ، قم بتنزيل البيانات من هذا الرابط في مجلد يسمى data .
2. بعد ذلك ، قم بتثبيت البيانات المراد استخدامها لتدريب النموذج
3. بعد ذلك ، قم بتدريب نموذج باستخدام البيانات الرمزية ، والتي تحفظ نقطة التفتيش في مجلد عند saved
4. أخيرًا ، قم بتقييم نقطة التفتيش على Robustlr تتكون من 3 أنواع مختلفة من مجموعات التباين و 3 أنواع مختلفة من المجموعات المكافئة.

أدناه ، نعرض خط أنابيب خطوة بخطوة لتدريب وتقييم نقطة تفتيش روبرتا. يظهر المثال لمجموعة بيانات التدريب "الكل" التي تحتوي على جميع المشغلين المنطقيين في وقت القطار [و ، أو ، لا].

معالجة البيانات لإنشاء مجموعة بيانات رمزية

python process_dataset.py --dataset train_data/all --arch roberta_large_race

Finetune Roberta Checkpoint

نستخدم نقطة تفتيش روبرتا على العرق. يمكن تغيير النموذج عبر config في src/configs/config.yaml

python main.py --dataset all --train_dataset all --dev_dataset all --test_dataset all

تقييم على معيار التشخيص robustlr

استبدل <model_ckpt> في الأمر أدناه إلى مسار نقطة التفتيش المحفوظة من النموذج الذي تم إجراؤه أعلاه.

مجموعة التباين بالتزامن

python process_dataset.py --dataset robustlr/logical_contrast/conj_contrast_with_distractors --eval

python main.py --override evaluate --dataset conj_contrast_with_distractors --train_dataset conj_contrast_with_distractors --dev_dataset conj_contrast_with_distractors --test_dataset conj_contrast_with_distractors --ckpt_path <model_ckpt>

مجموعة التباين المنفصل

python process_dataset.py --dataset robustlr/logical_contrast/disj_contrast_with_distractors --eval

python main.py --override evaluate --dataset disj_contrast_with_distractors --train_dataset disj_contrast_with_distractors --dev_dataset disj_contrast_with_distractors --test_dataset disj_contrast_with_distractors --ckpt_path <model_ckpt>

مجموعة التباين النفي

python process_dataset.py --dataset robustlr/logical_contrast/neg_contrast_with_distractors --eval

python main.py --override evaluate --dataset neg_contrast_with_distractors --train_dataset neg_contrast_with_distractors --dev_dataset neg_contrast_with_distractors --test_dataset neg_contrast_with_distractors --ckpt_path <model_ckpt>

مجموعة التكافؤ المقابل

python process_dataset.py --dataset robustlr/logical_equivalence/contrapositive_equiv --eval

python main.py --override evaluate --dataset contrapositive_equiv --train_dataset contrapositive_equiv --dev_dataset contrapositive_equiv --test_dataset contrapositive_equiv --ckpt_path <model_ckpt>

مجموعة معادلة التوزيع 1

python process_dataset.py --dataset robustlr/logical_equivalence/distributive1_equiv --eval

python main.py --override evaluate --dataset distributive1_equiv --train_dataset distributive1_equiv --dev_dataset distributive1_equiv --test_dataset distributive1_equiv --ckpt_path <model_ckpt>

مجموعة التكافؤ الموزعة 2

python process_dataset.py --dataset robustlr/logical_equivalence/distributive2_equiv --eval

python main.py --override evaluate --dataset distributive2_equiv --train_dataset distributive2_equiv --dev_dataset distributive2_equiv --test_dataset distributive2_equiv --ckpt_path <model_ckpt>

لأي توضيح أو تعليقات أو اقتراحات ، يرجى إنشاء مشكلة أو الاتصال بـ Soumya.