GSM8K Consistency

GSM8K-Konsistenz Benchmark

GSM8K-Konsistenz ist eine Benchmark-Datenbank zur Analyse der Konsistenz des Arithmetic Reasoning on GSM8K .

Der Datensatz ist verfügbar? Umarmung!

Dies ist ein mathematikproblembedingter Semantics-Präsentations-Störungs-Benchmark, der sehr hilfreich für die Bewertung der Konsistenz der Fähigkeit zur arithmetischen Argumentation sein kann.

Datensatzverwendung

Führen Sie den folgenden Befehl aus, um die Daten zu laden:

 from datasets import load_dataset

dataset = load_dataset ( "shuyuej/GSM8K-Consistency" )
dataset = dataset [ 'train' ]
print ( dataset )

Datensatzbeschreibung:

 Dataset ({
    features : [ 'id' , 'original_question' , 'paraphrased_question' , 'answer_detail' , 'numerical_answer' ],
    num_rows : 85225
})