GSM8K Consistency

GSM8Kコンシテンションベンチマーク

GSM8K-Consistencyは、 Arithmetic Reasoning on GSM8Kの一貫性を分析するためのベンチマークデータベースです。

データセットはで利用可能ですか？顔を抱き締める！

これは、数学に関連したセマンティクスに基づいた摂動ベンチマークであり、算術推論能力の一貫性を評価するのに非常に役立ちます。

データセットの使用

次のコマンドを実行してデータをロードします。

 from datasets import load_dataset

dataset = load_dataset ( "shuyuej/GSM8K-Consistency" )
dataset = dataset [ 'train' ]
print ( dataset )

データセットの説明：

 Dataset ({
    features : [ 'id' , 'original_question' , 'paraphrased_question' , 'answer_detail' , 'numerical_answer' ],
    num_rows : 85225
})