الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

الأشباح: القدرات الرياضية لـ ChatGpt [موقع المشروع]

مجموعة بيانات باللغة الطبيعية ومعيار جديد للرياضيات المتقدمة

خلاصة

نحن نتحقق من القدرات الرياضية لتكرار اثنين من chatgpt (تم إصدارها 9 يناير 2013 و 30 يناير -2023) و GPT-4 من خلال اختبارها على مجموعات البيانات المتاحة للجمهور ، وكذلك تلك المصنوعة يدويًا ، باستخدام منهجية جديدة. على عكس الرياضيات الرسمية ، حيث تتوفر قواعد بيانات كبيرة من البراهين الرسمية (على سبيل المثال ، المكتبة الرياضية الهزيلة) ، فإن مجموعات البيانات الحالية للرياضيات الطبيعية التي تستخدم في النماذج اللغوية ، إما تغطي الرياضيات الابتدائية فقط أو صغيرة جدًا. نعالج هذا من خلال إطلاق مجموعتين جديدتين: الأشباح و Minighosts. هذه هي أول مجموعات بيانات باللغة الطبيعية برعاية الباحثين العاملين في الرياضيات (1) تهدف إلى تغطية الرياضيات على مستوى الدراسات العليا ، (2) توفر نظرة عامة شاملة على القدرات الرياضية لنماذج اللغة ، و (3) تميز أبعاد متعددة من التفكير الرياضي. تختبر مجموعات البيانات هذه أيضًا ما إذا كان ChatGPT و GPT-4 يمكن أن يكونا مساعدين مفيدين لعلماء الرياضيات المهنيين من خلال محاكاة حالات الاستخدام التي تنشأ في الأنشطة المهنية اليومية لعلماء الرياضيات. نقوم بتقييم النماذج على مجموعة من مقاييس الأداء الدقيقة. بالنسبة للرياضيات المتقدمة ، هذا هو جهد التقييم الأكثر تفصيلاً حتى الآن. نجد أنه يمكن استخدام chatgpt بنجاح كمساعد رياضي للاستعلام عن الحقائق ، ويعمل كمحرك بحث رياضي وواجهة قاعدة المعرفة. يمكن استخدام GPT-4 بالإضافة إلى ذلك للرياضيات على مستوى المرحلة الجامعية ولكنها تفشل في صعوبة على مستوى الدراسات العليا. على عكس العديد من التقارير الإيجابية في وسائل الإعلام حول GPT-4 وقدرات تحل امتحان ChatGPT (حالة محتملة لتحيز الاختيار) ، فإن أدائها الرياضي العام أقل بكثير من مستوى طالب الدراسات العليا. وبالتالي ، إذا كان هدفك هو استخدام chatgpt لاجتياز امتحان الرياضيات على مستوى الدراسات العليا ، فستكون من الأفضل لك النسخ من نظيرتك العادي!

رخصة

نشير إلى الورقة للحصول على معلومات مفصلة حول الترخيص (TL ؛ DR كل ما أنشأناه من قبل أنفسنا بموجب CC BY-NC 4.0 ؛ لجميع المطالبات من الكتب المحمية بحقوق الطبع والنشر ، يتم تطبيق التراخيص المعنية)

اقتباس

إذا كنت تستخدم مجموعة البيانات الخاصة بنا ، فيرجى الاستشهاد بالورقة: 

 @article{frieder2023mathematical,
  title={Mathematical capabilities of chatgpt},
  author={Frieder, Simon and Pinchetti, Luca and Griffiths, Ryan-Rhys and Salvatori, Tommaso and Lukasiewicz, Thomas and Petersen, Philipp Christian and Chevalier, Alexis and Berner, Julius},
  journal={arXiv preprint arXiv:2301.13867},
  year={2023}
}
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل