GSM8K Consistency

Benchmark Konsistensi GSM8K

Konsistensi GSM8K adalah database benchmark untuk menganalisis konsistensi Arithmetic Reasoning on GSM8K .

Dataset tersedia? Wajah memeluk!

Ini adalah tolok ukur perturbasi semantik yang terkait dengan matematika yang dapat sangat membantu untuk mengevaluasi konsistensi kemampuan penalaran aritmatika.

Penggunaan dataset

Jalankan perintah berikut untuk memuat data:

 from datasets import load_dataset

dataset = load_dataset ( "shuyuej/GSM8K-Consistency" )
dataset = dataset [ 'train' ]
print ( dataset )

Dataset Deskripsi:

 Dataset ({
    features : [ 'id' , 'original_question' , 'paraphrased_question' , 'answer_detail' , 'numerical_answer' ],
    num_rows : 85225
})