RobustLR

robustlr

ROBUSTLR：演ductiveな推論者の論理的堅牢性を評価するための診断ベンチマーク

robustlrの概要

強力な演ductiveな推論モデルは、入力の論理的なバリエーションに堅牢であることを期待しています。ここで、モデルは2番目の例の論理的接続詞を理解できず、声明の誤りを予測します。

依存関係

• 依存関係は、 requirements.txtを使用してインストールできます。

実行コードを実行するためのパイプライン

1. まず、このリンクからデータをdataという名前のフォルダーにダウンロードします。
2. 次に、モデルのトレーニングに使用するデータをトークン化します
3. 次に、トークン化されたデータを使用してモデルをトレーニングします。これにより、 savedフォルダーのチェックポイントが保存されます
4. 最後に、3つの異なるタイプのコントラストセットと3つの異なるタイプの等価セットで構成されるrobustLRのチェックポイントを評価します。

以下に、Robertaのチェックポイントを訓練および評価するための段階的なピプレラインを示します。この例は、列車時にすべての論理演算子を含む「ALL」トレーニングデータセットの[および、またはそうではない]に示されています。

データを処理して、トークン化されたデータセットを生成します

python process_dataset.py --dataset train_data/all --arch roberta_large_race

Finetune Robertaチェックポイント

レースでFinetunedのRobertaチェックポイントを使用しています。モデルはsrc/configs/config.yamlでconfigを介して変更できます

python main.py --dataset all --train_dataset all --dev_dataset all --test_dataset all

ROBUSTLR診断ベンチマークに関する評価

以下のコマンドの<model_ckpt>を、上記のモデルFinetuningから保存されたチェックポイントパスに置き換えます。

接続詞コントラストセット

python process_dataset.py --dataset robustlr/logical_contrast/conj_contrast_with_distractors --eval

python main.py --override evaluate --dataset conj_contrast_with_distractors --train_dataset conj_contrast_with_distractors --dev_dataset conj_contrast_with_distractors --test_dataset conj_contrast_with_distractors --ckpt_path <model_ckpt>

分離コントラストセット

python process_dataset.py --dataset robustlr/logical_contrast/disj_contrast_with_distractors --eval

python main.py --override evaluate --dataset disj_contrast_with_distractors --train_dataset disj_contrast_with_distractors --dev_dataset disj_contrast_with_distractors --test_dataset disj_contrast_with_distractors --ckpt_path <model_ckpt>

否定コントラストセット

python process_dataset.py --dataset robustlr/logical_contrast/neg_contrast_with_distractors --eval

python main.py --override evaluate --dataset neg_contrast_with_distractors --train_dataset neg_contrast_with_distractors --dev_dataset neg_contrast_with_distractors --test_dataset neg_contrast_with_distractors --ckpt_path <model_ckpt>

対照的な同等性セット

python process_dataset.py --dataset robustlr/logical_equivalence/contrapositive_equiv --eval

python main.py --override evaluate --dataset contrapositive_equiv --train_dataset contrapositive_equiv --dev_dataset contrapositive_equiv --test_dataset contrapositive_equiv --ckpt_path <model_ckpt>

分散1等価セット

python process_dataset.py --dataset robustlr/logical_equivalence/distributive1_equiv --eval

python main.py --override evaluate --dataset distributive1_equiv --train_dataset distributive1_equiv --dev_dataset distributive1_equiv --test_dataset distributive1_equiv --ckpt_path <model_ckpt>

分散2等価セット

python process_dataset.py --dataset robustlr/logical_equivalence/distributive2_equiv --eval

python main.py --override evaluate --dataset distributive2_equiv --train_dataset distributive2_equiv --dev_dataset distributive2_equiv --test_dataset distributive2_equiv --ckpt_path <model_ckpt>

明確化、コメント、または提案については、問題を作成するか、Soumyaに連絡してください。