RobustLR

Robustlr

Robustlr: ein diagnostischer Benchmark für die Bewertung der logischen Robustheit deduktiver Vernunfter

Überblick über robustlr

Wir erwarten, dass ein starkes deduktives Argumentationsmodell für logische Variationen der Eingabe robust sein sollte. Hier versteht das Modell die logische Konjunktion im zweiten Beispiel nicht und prognostiziert die falsche Einführung der Erklärung.

Abhängigkeiten

• Abhängigkeiten können mit requirements.txt installiert werden.txt.

Pipeline zum Ausführen von Code

1. Laden Sie zunächst die Daten von diesem Link in einem Ordner mit dem Namen data herunter.
2. Als nächstes tokenisieren Sie die Daten, die für das Training eines Modells verwendet werden sollen
3. Trainieren Sie dann ein Modell mithilfe der tokenisierten Daten, die den Checkpoint in einem Ordner saved
4. Bewerten Sie schließlich den Checkpoint zu robustlr, der aus 3 verschiedenen Arten von Kontrastsätzen und 3 verschiedenen Arten von äquivalenten Sätzen besteht.

Im Folgenden zeigen wir eine Schritt-für-Schritt-Pipleline, um einen Roberta-Checkpoint zu trainieren und zu bewerten. Das Beispiel wird für den "All' -Trainingsdatensatz" angezeigt, der alle logischen Operatoren zur Zugzeit enthält [und oder, nicht].

Verarbeiten Sie Daten zum Generieren tokenisierter Datensatz

python process_dataset.py --dataset train_data/all --arch roberta_large_race

Finetune Roberta Checkpoint

Wir verwenden einen Roberta -Checkpoint, der beim Rennen beendet ist. Das Modell kann über config unter src/configs/config.yaml geändert werden

python main.py --dataset all --train_dataset all --dev_dataset all --test_dataset all

Bewertung der robusten diagnostischen Benchmark

Ersetzen Sie den Befehl <model_ckpt> in dem folgenden Befehl in den oben ausgeführten Speicherspfad in den Sparen -Checkpoint -Pfad.

Konjunktion Kontrastset

python process_dataset.py --dataset robustlr/logical_contrast/conj_contrast_with_distractors --eval

python main.py --override evaluate --dataset conj_contrast_with_distractors --train_dataset conj_contrast_with_distractors --dev_dataset conj_contrast_with_distractors --test_dataset conj_contrast_with_distractors --ckpt_path <model_ckpt>

Disjunktion Kontrastset

python process_dataset.py --dataset robustlr/logical_contrast/disj_contrast_with_distractors --eval

python main.py --override evaluate --dataset disj_contrast_with_distractors --train_dataset disj_contrast_with_distractors --dev_dataset disj_contrast_with_distractors --test_dataset disj_contrast_with_distractors --ckpt_path <model_ckpt>

Negationskontrastsatz

python process_dataset.py --dataset robustlr/logical_contrast/neg_contrast_with_distractors --eval

python main.py --override evaluate --dataset neg_contrast_with_distractors --train_dataset neg_contrast_with_distractors --dev_dataset neg_contrast_with_distractors --test_dataset neg_contrast_with_distractors --ckpt_path <model_ckpt>

Kontrapositive Äquivalenz -Set

python process_dataset.py --dataset robustlr/logical_equivalence/contrapositive_equiv --eval

python main.py --override evaluate --dataset contrapositive_equiv --train_dataset contrapositive_equiv --dev_dataset contrapositive_equiv --test_dataset contrapositive_equiv --ckpt_path <model_ckpt>

Verteilte 1 Äquivalenz -Set

python process_dataset.py --dataset robustlr/logical_equivalence/distributive1_equiv --eval

python main.py --override evaluate --dataset distributive1_equiv --train_dataset distributive1_equiv --dev_dataset distributive1_equiv --test_dataset distributive1_equiv --ckpt_path <model_ckpt>

Verteilungs 2 Äquivalenzsatz

python process_dataset.py --dataset robustlr/logical_equivalence/distributive2_equiv --eval

python main.py --override evaluate --dataset distributive2_equiv --train_dataset distributive2_equiv --dev_dataset distributive2_equiv --test_dataset distributive2_equiv --ckpt_path <model_ckpt>

Für Klärung, Kommentare oder Vorschläge erstellen Sie bitte ein Problem oder wenden Sie sich an Soumya.