RobustLR

Robustlr

Robustlr: uma referência de diagnóstico para avaliar a robustez lógica de raciocínio dedutivo

Visão geral do robusto

Esperamos que um forte modelo de raciocínio dedutivo seja robusto às variações lógicas na entrada. Aqui, o modelo não consegue entender a conjunção lógica no segundo exemplo e prevê o implicação errada da declaração.

Dependências

• As dependências podem ser instaladas usando requirements.txt .

Oleoduto para execução de código

1. Primeiro, faça o download dos dados deste link em uma pasta chamada data .
2. Em seguida, tokenize os dados a serem usados ​​para treinar um modelo
3. Em seguida, treine um modelo usando os dados tokenizados, que salva o ponto de verificação em uma pasta em saved
4. Por fim, avalie o ponto de verificação no robustlr, composto por 3 tipos diferentes de conjuntos de contraste e 3 tipos diferentes de conjuntos equivalentes.

Abaixo, mostramos uma linha PIPLEAGEM passo a passo para treinar e avaliar um posto de controle de Roberta. O exemplo é mostrado para o conjunto de dados de treinamento `All ', que contém todos os operadores lógicos no horário do trem [e, ou não].

Processar dados para gerar conjunto de dados tokenizados

python process_dataset.py --dataset train_data/all --arch roberta_large_race

Ponto de controle Finetune Roberta

Usamos um Ponto de controle de Roberta FinetUned na corrida. O modelo pode ser alterado via configuração em src/configs/config.yaml

python main.py --dataset all --train_dataset all --dev_dataset all --test_dataset all

Avaliação em referência de diagnóstico robusta

Substitua o comando <model_ckpt> no comando abaixo pelo caminho de verificação salvo do Model Finetuning feito acima.

Conjunto de contraste em conjunção

python process_dataset.py --dataset robustlr/logical_contrast/conj_contrast_with_distractors --eval

python main.py --override evaluate --dataset conj_contrast_with_distractors --train_dataset conj_contrast_with_distractors --dev_dataset conj_contrast_with_distractors --test_dataset conj_contrast_with_distractors --ckpt_path <model_ckpt>

Conjunto de contraste da disjunção

python process_dataset.py --dataset robustlr/logical_contrast/disj_contrast_with_distractors --eval

python main.py --override evaluate --dataset disj_contrast_with_distractors --train_dataset disj_contrast_with_distractors --dev_dataset disj_contrast_with_distractors --test_dataset disj_contrast_with_distractors --ckpt_path <model_ckpt>

Conjunto de contraste de negação

python process_dataset.py --dataset robustlr/logical_contrast/neg_contrast_with_distractors --eval

python main.py --override evaluate --dataset neg_contrast_with_distractors --train_dataset neg_contrast_with_distractors --dev_dataset neg_contrast_with_distractors --test_dataset neg_contrast_with_distractors --ckpt_path <model_ckpt>

Conjunto de equivalência contrapositiva

python process_dataset.py --dataset robustlr/logical_equivalence/contrapositive_equiv --eval

python main.py --override evaluate --dataset contrapositive_equiv --train_dataset contrapositive_equiv --dev_dataset contrapositive_equiv --test_dataset contrapositive_equiv --ckpt_path <model_ckpt>

Conjunto de equivalência distributivo 1

python process_dataset.py --dataset robustlr/logical_equivalence/distributive1_equiv --eval

python main.py --override evaluate --dataset distributive1_equiv --train_dataset distributive1_equiv --dev_dataset distributive1_equiv --test_dataset distributive1_equiv --ckpt_path <model_ckpt>

Conjunto de equivalência distributivo 2

python process_dataset.py --dataset robustlr/logical_equivalence/distributive2_equiv --eval

python main.py --override evaluate --dataset distributive2_equiv --train_dataset distributive2_equiv --dev_dataset distributive2_equiv --test_dataset distributive2_equiv --ckpt_path <model_ckpt>

Para qualquer esclarecimento, comentários ou sugestões, crie um problema ou entre em contato com Soumya.