RobustLR

robustlr

Robustlr: มาตรฐานการวินิจฉัยสำหรับการประเมินความทนทานเชิงตรรกะของเหตุผลเชิงนิรภัย

ภาพรวมของ robustlr

เราคาดว่ารูปแบบการใช้เหตุผลแบบนิรนัยที่แข็งแกร่งควรมีความแข็งแกร่งต่อการเปลี่ยนแปลงเชิงตรรกะในอินพุต ที่นี่โมเดลไม่สามารถเข้าใจการรวมตรรกะในตัวอย่างที่สองและทำนายการลงโทษที่ไม่ถูกต้องของคำสั่ง

การพึ่งพาอาศัยกัน

• การพึ่งพาสามารถติดตั้งได้โดยใช้ requirements.txt . txt

ไปป์ไลน์สำหรับการเรียกใช้รหัส

1. ก่อนอื่นให้ดาวน์โหลดข้อมูลจากลิงค์นี้ในโฟลเดอร์ชื่อ data
2. ถัดไปโทเค็นข้อมูลที่จะใช้สำหรับการฝึกอบรมแบบจำลอง
3. จากนั้นฝึกอบรมโมเดลโดยใช้ข้อมูลโทเค็นซึ่งจะช่วยประหยัดจุดตรวจในโฟลเดอร์ที่ saved
4. สุดท้ายประเมินจุดตรวจสอบเกี่ยวกับ robustlr ซึ่งประกอบด้วยชุดคอนทราสต์ 3 ประเภทที่แตกต่างกันและชุดที่แตกต่างกัน 3 ประเภท

ด้านล่างเราแสดง pipleline ทีละขั้นตอนเพื่อฝึกอบรมและประเมินจุดตรวจ Roberta ตัวอย่างจะแสดงสำหรับชุดข้อมูลการฝึกอบรม `all` ที่มีผู้ให้บริการตรรกะทั้งหมดในเวลารถไฟ [และหรือหรือไม่ใช่]

ประมวลผลข้อมูลเพื่อสร้างชุดข้อมูลโทเค็น

python process_dataset.py --dataset train_data/all --arch roberta_large_race

จุดตรวจ Finetune Roberta

เราใช้ Roberta Cheampoint Finetuned ในการแข่งขัน รุ่นสามารถเปลี่ยนแปลงได้ผ่านการกำหนดค่าที่ src/configs/config.yaml

python main.py --dataset all --train_dataset all --dev_dataset all --test_dataset all

การประเมินผลการวินิจฉัย robustlr

แทนที่ <model_ckpt> ในคำสั่งด้านล่างไปยังเส้นทางจุดตรวจสอบที่บันทึกไว้จาก MODEL FINETUNING ที่ทำไว้ด้านบน

ชุดคอนทราสต์ร่วม

python process_dataset.py --dataset robustlr/logical_contrast/conj_contrast_with_distractors --eval

python main.py --override evaluate --dataset conj_contrast_with_distractors --train_dataset conj_contrast_with_distractors --dev_dataset conj_contrast_with_distractors --test_dataset conj_contrast_with_distractors --ckpt_path <model_ckpt>

ชุดความคมชัดแยก

python process_dataset.py --dataset robustlr/logical_contrast/disj_contrast_with_distractors --eval

python main.py --override evaluate --dataset disj_contrast_with_distractors --train_dataset disj_contrast_with_distractors --dev_dataset disj_contrast_with_distractors --test_dataset disj_contrast_with_distractors --ckpt_path <model_ckpt>

ชุดคอนทราสต์ปฏิเสธ

python process_dataset.py --dataset robustlr/logical_contrast/neg_contrast_with_distractors --eval

python main.py --override evaluate --dataset neg_contrast_with_distractors --train_dataset neg_contrast_with_distractors --dev_dataset neg_contrast_with_distractors --test_dataset neg_contrast_with_distractors --ckpt_path <model_ckpt>

ชุดเทียบเท่า contrapositive

python process_dataset.py --dataset robustlr/logical_equivalence/contrapositive_equiv --eval

python main.py --override evaluate --dataset contrapositive_equiv --train_dataset contrapositive_equiv --dev_dataset contrapositive_equiv --test_dataset contrapositive_equiv --ckpt_path <model_ckpt>

การกระจาย 1 ชุดเทียบเท่า

python process_dataset.py --dataset robustlr/logical_equivalence/distributive1_equiv --eval

python main.py --override evaluate --dataset distributive1_equiv --train_dataset distributive1_equiv --dev_dataset distributive1_equiv --test_dataset distributive1_equiv --ckpt_path <model_ckpt>

ชุดการกระจาย 2 ชุดเทียบเท่า

python process_dataset.py --dataset robustlr/logical_equivalence/distributive2_equiv --eval

python main.py --override evaluate --dataset distributive2_equiv --train_dataset distributive2_equiv --dev_dataset distributive2_equiv --test_dataset distributive2_equiv --ckpt_path <model_ckpt>

สำหรับคำชี้แจงความคิดเห็นหรือข้อเสนอแนะใด ๆ โปรดสร้างปัญหาหรือติดต่อ Soumya