GSM8K Consistency

Benchmark de consistencia GSM8K

La consistencia GSM8K es una base de datos de referencia para analizar la consistencia del Arithmetic Reasoning on GSM8K .

¿El conjunto de datos está disponible? ¡Abrazando la cara!

Este es un punto de referencia de perturbación que presenta la semántica relacionada con el problema matemático que puede ser muy útil para evaluar la consistencia de la capacidad de razonamiento aritmético.

Uso del conjunto de datos

Ejecute el siguiente comando para cargar los datos:

 from datasets import load_dataset

dataset = load_dataset ( "shuyuej/GSM8K-Consistency" )
dataset = dataset [ 'train' ]
print ( dataset )

Descripción del conjunto de datos:

 Dataset ({
    features : [ 'id' , 'original_question' , 'paraphrased_question' , 'answer_detail' , 'numerical_answer' ],
    num_rows : 85225
})