RobustLR

鲁棒

Rubustlr：用于评估演绎推理器逻辑鲁棒性的诊断基准

鲁棒概述

我们期望强有力的演绎推理模型对于输入中的逻辑变化应该是可靠的。在这里，该模型无法理解第二个示例中的逻辑连词，并预测了该陈述的错误需要。

依赖性

• 依赖项可以使用requirements.txt安装。

运行代码的管道

1. 首先，在名为data的文件夹中下载数据。
2. 接下来，将用于培训模型的数据归为图
3. 然后，使用令牌化数据训练模型，该数据将检查点保存在saved文件夹中
4. 最后，评估由3种不同类型的对比度集和3种不同类型的等效集组成的RubustLR上的检查点。

在下面，我们将展示一条逐步的Pipleline来训练和评估Roberta检查点。该示例显示为“所有”培训数据集，该数据集包含在火车时（and，or，，不]的所有逻辑运算符。

处理数据以生成令牌化数据集

python process_dataset.py --dataset train_data/all --arch roberta_large_race

Finetune Roberta检查站

我们在比赛中使用了一个填充的罗伯塔检查站。可以通过config在src/configs/config.yaml上更改模型

python main.py --dataset all --train_dataset all --dev_dataset all --test_dataset all

关于鲁棒诊断基准的评估

从上面完成的模型fineTuning中，将<model_ckpt>替换为下面命令中的保存检查点路径。

连词对比度集

python process_dataset.py --dataset robustlr/logical_contrast/conj_contrast_with_distractors --eval

python main.py --override evaluate --dataset conj_contrast_with_distractors --train_dataset conj_contrast_with_distractors --dev_dataset conj_contrast_with_distractors --test_dataset conj_contrast_with_distractors --ckpt_path <model_ckpt>

析取对比集

python process_dataset.py --dataset robustlr/logical_contrast/disj_contrast_with_distractors --eval

python main.py --override evaluate --dataset disj_contrast_with_distractors --train_dataset disj_contrast_with_distractors --dev_dataset disj_contrast_with_distractors --test_dataset disj_contrast_with_distractors --ckpt_path <model_ckpt>

否定对比集

python process_dataset.py --dataset robustlr/logical_contrast/neg_contrast_with_distractors --eval

python main.py --override evaluate --dataset neg_contrast_with_distractors --train_dataset neg_contrast_with_distractors --dev_dataset neg_contrast_with_distractors --test_dataset neg_contrast_with_distractors --ckpt_path <model_ckpt>

构型等价集

python process_dataset.py --dataset robustlr/logical_equivalence/contrapositive_equiv --eval

python main.py --override evaluate --dataset contrapositive_equiv --train_dataset contrapositive_equiv --dev_dataset contrapositive_equiv --test_dataset contrapositive_equiv --ckpt_path <model_ckpt>

分配1等价集

python process_dataset.py --dataset robustlr/logical_equivalence/distributive1_equiv --eval

python main.py --override evaluate --dataset distributive1_equiv --train_dataset distributive1_equiv --dev_dataset distributive1_equiv --test_dataset distributive1_equiv --ckpt_path <model_ckpt>

分配2等价集

python process_dataset.py --dataset robustlr/logical_equivalence/distributive2_equiv --eval

python main.py --override evaluate --dataset distributive2_equiv --train_dataset distributive2_equiv --dev_dataset distributive2_equiv --test_dataset distributive2_equiv --ckpt_path <model_ckpt>

有关任何澄清，评论或建议，请创建问题或联系Soumya。