RobustLR

Ровный

Robustlr: диагностический эталон для оценки логической надежности дедуктивных рассуждений

Обзор ortaylr

Мы ожидаем, что сильная модель дедуктивных рассуждений должна быть надежной к логическим вариациям при вводе. Здесь модель не может понять логическое соединение во втором примере и предсказывает неправильное введение заявления.

Зависимости

• Зависимости могут быть установлены с использованием requirements.txt .

Конвейер для запуска кода

1. Во -первых, загрузите данные по этой ссылке в папке с именем data .
2. Далее, токенизировать данные, которые будут использоваться для обучения модели
3. Затем тренируйте модель, используя токенизированные данные, которые сохраняют контрольную точку в папке при saved
4. Наконец, оцените контрольную точку на roafustlr, состоящую из 3 различных типов контрастных наборов и 3 различных типов эквивалентных наборов.

Ниже мы показываем пошаговую Pipleline для обучения и оценки контрольной точки Роберты. Пример показан для учебного набора данных, который содержит все логические операторы во время поезда [и, или, не].

Данные процесса для создания токенизированного набора данных

python process_dataset.py --dataset train_data/all --arch roberta_large_race

CENETUNE ROBERTA CHACKPOINT

Мы используем контрольно -пропускной пункт Роберты, созданный на гонке. Модель может быть изменена через config at src/configs/config.yaml

python main.py --dataset all --train_dataset all --dev_dataset all --test_dataset all

Оценка на эталонном диагностическом эталоне

Замените команду <model_ckpt> в ниже, на сохраненный путь контрольной точки от Model Manetuning, сделанной выше.

Соединение контрастного набора

python process_dataset.py --dataset robustlr/logical_contrast/conj_contrast_with_distractors --eval

python main.py --override evaluate --dataset conj_contrast_with_distractors --train_dataset conj_contrast_with_distractors --dev_dataset conj_contrast_with_distractors --test_dataset conj_contrast_with_distractors --ckpt_path <model_ckpt>

Набор контрастности дизъюнкции

python process_dataset.py --dataset robustlr/logical_contrast/disj_contrast_with_distractors --eval

python main.py --override evaluate --dataset disj_contrast_with_distractors --train_dataset disj_contrast_with_distractors --dev_dataset disj_contrast_with_distractors --test_dataset disj_contrast_with_distractors --ckpt_path <model_ckpt>

Набор контрастности отрицания

python process_dataset.py --dataset robustlr/logical_contrast/neg_contrast_with_distractors --eval

python main.py --override evaluate --dataset neg_contrast_with_distractors --train_dataset neg_contrast_with_distractors --dev_dataset neg_contrast_with_distractors --test_dataset neg_contrast_with_distractors --ckpt_path <model_ckpt>

Набор контрапозитивной эквивалентности

python process_dataset.py --dataset robustlr/logical_equivalence/contrapositive_equiv --eval

python main.py --override evaluate --dataset contrapositive_equiv --train_dataset contrapositive_equiv --dev_dataset contrapositive_equiv --test_dataset contrapositive_equiv --ckpt_path <model_ckpt>

Распределение 1 набор эквивалентности

python process_dataset.py --dataset robustlr/logical_equivalence/distributive1_equiv --eval

python main.py --override evaluate --dataset distributive1_equiv --train_dataset distributive1_equiv --dev_dataset distributive1_equiv --test_dataset distributive1_equiv --ckpt_path <model_ckpt>

Набор эквивалентности распределения 2

python process_dataset.py --dataset robustlr/logical_equivalence/distributive2_equiv --eval

python main.py --override evaluate --dataset distributive2_equiv --train_dataset distributive2_equiv --dev_dataset distributive2_equiv --test_dataset distributive2_equiv --ckpt_path <model_ckpt>

Для любых разъяснений, комментариев или предложений, пожалуйста, создайте проблему или свяжитесь с Soumya.