RobustLR

Robustlr

Robustlr : 연역적 추론 자의 논리적 견고성을 평가하기위한 진단 벤치 마크

Robustlr의 개요

우리는 강력한 연역적 추론 모델이 입력의 논리적 변화에 강력 할 것으로 예상합니다. 여기서, 모델은 두 번째 예에서 논리적 결합을 이해하지 못하고 진술의 잘못된 수반을 예측합니다.

의존성

• requirements.txt 사용하여 종속성을 설치할 수 있습니다.

코드 실행을위한 파이프 라인

1. 먼저이 링크의 데이터를 data 라는 폴더에서 다운로드하십시오.
2. 다음으로, 모델 훈련에 사용할 데이터를 토큰 화하십시오.
3. 그런 다음 토큰 화 된 데이터를 사용하여 모델을 훈련시켜 saved 의 폴더에 검사 점을 저장합니다.
4. 마지막으로, 3 가지 다른 유형의 대비 세트와 3 가지 유형의 동등한 세트로 구성된 Robustlr의 검사 점을 평가하십시오.

아래에는 Roberta 체크 포인트를 훈련시키고 평가하기위한 단계별 파이프 라인을 보여줍니다. 예제는 기차 시간에 모든 논리 연산자가 포함 된 'All'교육 데이터 세트에 대해 표시됩니다 [및 OR, OR, NOT.

데이터를 프로세스하여 토큰 화 된 데이터 세트를 생성합니다

python process_dataset.py --dataset train_data/all --arch roberta_large_race

FINETUNE ROBERTA 체크 포인트

우리는 레이스에서 미세한 Roberta Checkpoint를 사용합니다. 모델은 src/configs/config.yaml 에서 구성을 통해 변경할 수 있습니다

python main.py --dataset all --train_dataset all --dev_dataset all --test_dataset all

Robustlr 진단 벤치 마크에 대한 평가

아래 명령에서 <model_ckpt> 위의 모델 결제에서 저장된 체크 포인트 경로로 바꾸십시오.

연결 대비 세트

python process_dataset.py --dataset robustlr/logical_contrast/conj_contrast_with_distractors --eval

python main.py --override evaluate --dataset conj_contrast_with_distractors --train_dataset conj_contrast_with_distractors --dev_dataset conj_contrast_with_distractors --test_dataset conj_contrast_with_distractors --ckpt_path <model_ckpt>

분리 대비 세트

python process_dataset.py --dataset robustlr/logical_contrast/disj_contrast_with_distractors --eval

python main.py --override evaluate --dataset disj_contrast_with_distractors --train_dataset disj_contrast_with_distractors --dev_dataset disj_contrast_with_distractors --test_dataset disj_contrast_with_distractors --ckpt_path <model_ckpt>

부정 대비 세트

python process_dataset.py --dataset robustlr/logical_contrast/neg_contrast_with_distractors --eval

python main.py --override evaluate --dataset neg_contrast_with_distractors --train_dataset neg_contrast_with_distractors --dev_dataset neg_contrast_with_distractors --test_dataset neg_contrast_with_distractors --ckpt_path <model_ckpt>

반대 동등성 세트

python process_dataset.py --dataset robustlr/logical_equivalence/contrapositive_equiv --eval

python main.py --override evaluate --dataset contrapositive_equiv --train_dataset contrapositive_equiv --dev_dataset contrapositive_equiv --test_dataset contrapositive_equiv --ckpt_path <model_ckpt>

분배 1 등가 세트

python process_dataset.py --dataset robustlr/logical_equivalence/distributive1_equiv --eval

python main.py --override evaluate --dataset distributive1_equiv --train_dataset distributive1_equiv --dev_dataset distributive1_equiv --test_dataset distributive1_equiv --ckpt_path <model_ckpt>

분배 2 등가 세트

python process_dataset.py --dataset robustlr/logical_equivalence/distributive2_equiv --eval

python main.py --override evaluate --dataset distributive2_equiv --train_dataset distributive2_equiv --dev_dataset distributive2_equiv --test_dataset distributive2_equiv --ckpt_path <model_ckpt>

설명, 의견 또는 제안은 문제를 만들거나 Soumya에 문의하십시오.