GSM8K Consistency

Benchmark GSM8K-Consistência

A consistência GSM8K é um banco de dados de referência para analisar a consistência do Arithmetic Reasoning on GSM8K .

O conjunto de dados está disponível? Abraçando o rosto!

Este é um benchmark de perturbação semântica relacionado ao problema do problema que pode ser muito útil para avaliar a consistência da capacidade de raciocínio aritmético.

Uso do conjunto de dados

Execute o seguinte comando para carregar os dados:

 from datasets import load_dataset

dataset = load_dataset ( "shuyuej/GSM8K-Consistency" )
dataset = dataset [ 'train' ]
print ( dataset )

Descrição do conjunto de dados:

 Dataset ({
    features : [ 'id' , 'original_question' , 'paraphrased_question' , 'answer_detail' , 'numerical_answer' ],
    num_rows : 85225
})