RobustLR

Robusto

Robustlr: un punto de referencia de diagnóstico para evaluar la robustez lógica de los razonadores deductivos

Descripción general de Robustlr

Esperamos que un modelo de razonamiento deductivo fuerte sea robusto para las variaciones lógicas en la entrada. Aquí, el modelo no comprende la conjunción lógica en el segundo ejemplo y predice la implicación incorrecta de la declaración.

Dependencias

• Las dependencias se pueden instalar utilizando requirements.txt .

Tubería para ejecutar código

1. Primero, descargue los datos de este enlace en una carpeta llamada data .
2. A continuación, tokenizar los datos que se utilizarán para capacitar a un modelo
3. Luego, capacite a un modelo utilizando los datos tokenizados, que guarda el punto de control en una carpeta en saved
4. Por último, evalúe el punto de control en Robustlr que consta de 3 tipos diferentes de conjuntos de contraste y 3 tipos diferentes de conjuntos equivalentes.

A continuación, mostramos un Pipline paso a paso para entrenar y evaluar un punto de control de Roberta. El ejemplo se muestra para el conjunto de datos de entrenamiento `All` que contiene todos los operadores lógicos en el tiempo de tren [y, o no].

Procesar datos para generar un conjunto de datos tokenizado

python process_dataset.py --dataset train_data/all --arch roberta_large_race

Punto de control de Finetune Roberta

Usamos un punto de control de Roberta Finetened en la carrera. El modelo se puede cambiar a través de la configuración en src/configs/config.yaml

python main.py --dataset all --train_dataset all --dev_dataset all --test_dataset all

Evaluación en Robustlr Diagnostic Benchmark

Reemplace el comando <model_ckpt> en el siguiente comando a la ruta de punto de control guardada desde el modelo de fineco realizado anteriormente.

Conjunto de contraste de conjunción

python process_dataset.py --dataset robustlr/logical_contrast/conj_contrast_with_distractors --eval

python main.py --override evaluate --dataset conj_contrast_with_distractors --train_dataset conj_contrast_with_distractors --dev_dataset conj_contrast_with_distractors --test_dataset conj_contrast_with_distractors --ckpt_path <model_ckpt>

Conjunto de contraste de disyunción

python process_dataset.py --dataset robustlr/logical_contrast/disj_contrast_with_distractors --eval

python main.py --override evaluate --dataset disj_contrast_with_distractors --train_dataset disj_contrast_with_distractors --dev_dataset disj_contrast_with_distractors --test_dataset disj_contrast_with_distractors --ckpt_path <model_ckpt>

Conjunto de contraste de negación

python process_dataset.py --dataset robustlr/logical_contrast/neg_contrast_with_distractors --eval

python main.py --override evaluate --dataset neg_contrast_with_distractors --train_dataset neg_contrast_with_distractors --dev_dataset neg_contrast_with_distractors --test_dataset neg_contrast_with_distractors --ckpt_path <model_ckpt>

Conjunto de equivalencia contrapositiva

python process_dataset.py --dataset robustlr/logical_equivalence/contrapositive_equiv --eval

python main.py --override evaluate --dataset contrapositive_equiv --train_dataset contrapositive_equiv --dev_dataset contrapositive_equiv --test_dataset contrapositive_equiv --ckpt_path <model_ckpt>

Conjunto de equivalencia distributivo 1

python process_dataset.py --dataset robustlr/logical_equivalence/distributive1_equiv --eval

python main.py --override evaluate --dataset distributive1_equiv --train_dataset distributive1_equiv --dev_dataset distributive1_equiv --test_dataset distributive1_equiv --ckpt_path <model_ckpt>

Conjunto de equivalencia distributivo 2

python process_dataset.py --dataset robustlr/logical_equivalence/distributive2_equiv --eval

python main.py --override evaluate --dataset distributive2_equiv --train_dataset distributive2_equiv --dev_dataset distributive2_equiv --test_dataset distributive2_equiv --ckpt_path <model_ckpt>

Para cualquier aclaración, comentario o sugerencia, cree un problema o comuníquese con Soumya.