RobustLR

魯棒

Rubustlr：用於評估演繹推理器邏輯魯棒性的診斷基準

魯棒概述

我們期望強有力的演繹推理模型對於輸入中的邏輯變化應該是可靠的。在這裡，該模型無法理解第二個示例中的邏輯連詞，並預測了該陳述的錯誤需要。

依賴性

• 依賴項可以使用requirements.txt安裝。

運行代碼的管道

1. 首先，在名為data的文件夾中下載數據。
2. 接下來，將用於培訓模型的數據歸為圖
3. 然後，使用令牌化數據訓練模型，該數據將檢查點保存在saved文件夾中
4. 最後，評估由3種不同類型的對比度集和3種不同類型的等效集組成的RubustLR上的檢查點。

在下面，我們將展示一條逐步的Pipleline來訓練和評估Roberta檢查點。該示例顯示為“所有”培訓數據集，該數據集包含在火車時（and，or，，不]的所有邏輯運算符。

處理數據以生成令牌化數據集

python process_dataset.py --dataset train_data/all --arch roberta_large_race

Finetune Roberta檢查站

我們在比賽中使用了一個填充的羅伯塔檢查站。可以通過config在src/configs/config.yaml上更改模型

python main.py --dataset all --train_dataset all --dev_dataset all --test_dataset all

關於魯棒診斷基準的評估

從上面完成的模型fineTuning中，將<model_ckpt>替換為下面命令中的保存檢查點路徑。

連詞對比度集

python process_dataset.py --dataset robustlr/logical_contrast/conj_contrast_with_distractors --eval

python main.py --override evaluate --dataset conj_contrast_with_distractors --train_dataset conj_contrast_with_distractors --dev_dataset conj_contrast_with_distractors --test_dataset conj_contrast_with_distractors --ckpt_path <model_ckpt>

析取對比集

python process_dataset.py --dataset robustlr/logical_contrast/disj_contrast_with_distractors --eval

python main.py --override evaluate --dataset disj_contrast_with_distractors --train_dataset disj_contrast_with_distractors --dev_dataset disj_contrast_with_distractors --test_dataset disj_contrast_with_distractors --ckpt_path <model_ckpt>

否定對比集

python process_dataset.py --dataset robustlr/logical_contrast/neg_contrast_with_distractors --eval

python main.py --override evaluate --dataset neg_contrast_with_distractors --train_dataset neg_contrast_with_distractors --dev_dataset neg_contrast_with_distractors --test_dataset neg_contrast_with_distractors --ckpt_path <model_ckpt>

構型等價集

python process_dataset.py --dataset robustlr/logical_equivalence/contrapositive_equiv --eval

python main.py --override evaluate --dataset contrapositive_equiv --train_dataset contrapositive_equiv --dev_dataset contrapositive_equiv --test_dataset contrapositive_equiv --ckpt_path <model_ckpt>

分配1等價集

python process_dataset.py --dataset robustlr/logical_equivalence/distributive1_equiv --eval

python main.py --override evaluate --dataset distributive1_equiv --train_dataset distributive1_equiv --dev_dataset distributive1_equiv --test_dataset distributive1_equiv --ckpt_path <model_ckpt>

分配2等價集

python process_dataset.py --dataset robustlr/logical_equivalence/distributive2_equiv --eval

python main.py --override evaluate --dataset distributive2_equiv --train_dataset distributive2_equiv --dev_dataset distributive2_equiv --test_dataset distributive2_equiv --ckpt_path <model_ckpt>

有關任何澄清，評論或建議，請創建問題或聯繫Soumya。