ToRA
1.0.0
[موقع ويب] • [ورقة] • [؟ نماذج HF] • [؟ جيثب]
[؟ Twitter] • [Reddit] • [؟ مدونة غير رسمية]
repo لـ "Tora: A Agent Admined Adminated Agent لحل المشكلات الرياضية" [ICLR'2024]
الشكل 1: مقارنة تورا مع خطوط الأساس على طرز قاعدة LLAMA-2 من 7B إلى 70B.
Tora هي سلسلة من عوامل التفكير المتكاملة للأدوات المصممة لحل مشاكل التفكير الرياضي الصعبة من خلال التفاعل مع الأدوات ، مثل ، مكتبات الحساب والمحلل الرمزي. تدمج سلسلة Tora بشكل سلس التفكير في اللغة الطبيعية مع استخدام الأدوات الخارجية ، وبالتالي دمج البراعة التحليلية للغة والكفاءة الحسابية للأدوات الخارجية.
| نموذج | مقاس | GSM8K | الرياضيات | AVG@10 مهام الرياضيات † |
|---|---|---|---|---|
| GPT-4 | - | 92.0 | 42.5 | 78.3 |
| GPT-4 (بال) | - | 94.2 | 51.8 | 86.4 |
| تورا -7 ب | 7 ب | 68.8 | 40.1 | 62.4 |
| Tora-Code-7B | 7 ب | 72.6 | 44.6 | 66.5 |
| Tora-Code-7B + التوافق الذاتي (K = 50) | 7 ب | 76.8 | 52.5 | - |
| تورا -13 ب | 13 ب | 72.7 | 43.0 | 65.9 |
| Tora-Code-13B | 13 ب | 75.8 | 48.1 | 71.3 |
| Tora-Code-13B + التوافق الذاتي (K = 50) | 13 ب | 80.4 | 55.1 | - |
| Tora-code-34b * | 34 ب | 80.7 | 51.0 | 74.8 |
| Tora-Code-34b + التوافق الذاتي (K = 50) | 34 ب | 85.1 | 60.0 | - |
| Tora-70b | 70 ب | 84.3 | 49.7 | 76.9 |
| Tora-70b + التوافق الذاتي (K = 50) | 70 ب | 88.3 | 56.9 | - |
* Tora-Code-34B هو حاليًا نموذج أول ومفتوح المصدر الوحيد لتحقيق أكثر من 50 ٪ من الدقة (PASS@1) على مجموعة بيانات الرياضيات ، والتي تتفوق بشكل كبير على نتيجة COT GPT-4 (51.0 مقابل 42.5) ، وهي تنافسية مع مشاكل حل GPT-4 مع البرامج. من خلال الاستعانة بمصادر مفتوحة من رموزنا ونماذجنا ، نأمل أن تأتي المزيد من الاختراقات!
† 10 مهام الرياضيات تشمل GSM8K و MATH و GSM-HARD و SVAMP و TABMWP و ASDIV و SONEEQ و OFFENOP و ADDSUB و Multiarith.
الشكل 2: مثال أساسي على تفاعل الأداة ذات الجولة الواحدة ، والذي يتداخل مع استخدام الأداة القائمة على البرنامج.
الشكل 3: تدريب Tora يحتوي على ① التعلم المقلد ، و ② تشكيل مساحة الإخراج.
نوصي باستخدام كوندا لإدارة بيئتك. نستخدم VLLM (0.1.4) لتسريع الاستدلال. قم بتشغيل الأوامر التالية لإعداد بيئتك:
git clone https://github.com/microsoft/ToRA.git && cd ToRA/src
conda create -n tora python=3.10
conda activate tora
pip install packaging==22.0
pip install torch==2.0.1 --index-url https://download.pytorch.org/whl/cu118 # CUDA 11.8 for example
pip install -r requirements.txt نحن نقدم برنامج نصي للاستدلال ، ما عليك سوى تكوين MODEL_NAME_OR_PATH DATA في src/scripts/inperves.sh وقم بتشغيل الأمر التالي:
bash scritps/infer.sh نفتح أيضًا مخرجات النموذج من أفضل طرزنا (Tora-Code-34b و Tora-70b) في src/outputs/ المخرجات.
يحتوي ملف SRC/eval/grader.per على منطق الدرجات الذي يقيم دقة الإجابة المتوقعة من خلال مقارنتها بالحقيقة الأساسية. تم تطوير هذا المنطق بناءً على نظام تصنيف الرياضيات في Hendrycks ، والذي تم التحقق منه يدويًا على مجموعة بيانات الرياضيات لتقليل الإيجابيات الخاطئة والسلبيات الخاطئة.
لتقييم الإجابة المتوقعة ، قم بتشغيل الأمر التالي:
python -m eval.evaluate
--data_name " math "
--prompt_type " tora "
--file_path " outputs/llm-agents/tora-code-34b-v1.0/math/test_tora_-1_seed0_t0.0_s0_e5000.jsonl "
--executeثم ستحصل على:
Num samples: 5000
Num scores: 5000
Timeout samples: 0
Empty samples: 2
Mean score: [51.0]
Type scores: {'Algebra': 67.3, 'Counting & Probability': 42.2, 'Geometry': 26.1, 'Intermediate Algebra': 40.0, 'Number Theory': 59.3, 'Prealgebra': 63.8, 'Precalculus': 34.2}
نحن نخضع حاليًا لمراجعة داخلية لمفتوح Tora-Corpus-16K ، ترقبوا! نحن أيضًا نفتح المصدر النصوص التدريبية الكاملة للمجتمع ، ويمكنك إنشاء مجموعة البيانات الخاصة بك للتدريب. نحن نقدم بعض البيانات على البيانات/tora/.
لتدريب نموذج ، قم بتشغيل الأمر التالي:
bash scripts/train.sh codellama 7bإذا وجدت هذا المستودع مفيدًا ، فيرجى التفكير في ذكر ورقتنا:
@inproceedings{
gou2024tora,
title={To{RA}: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving},
author={Zhibin Gou and Zhihong Shao and Yeyun Gong and yelong shen and Yujiu Yang and Minlie Huang and Nan Duan and Weizhu Chen},
booktitle={The Twelfth International Conference on Learning Representations},
year={2024},
url={https://openreview.net/forum?id=Ep0TtjVoap}
}
يرحب هذا المشروع بالمساهمات والاقتراحات. تطلب منك معظم المساهمات الموافقة على اتفاقية ترخيص المساهم (CLA) مع إعلان أن لديك الحق في ذلك في الواقع ، ويفعلنا في الواقع حقوق استخدام مساهمتك. لمزيد من التفاصيل ، تفضل بزيارة https://cla.opensource.microsoft.com.
اعتمد هذا المشروع رمز سلوك المصدر المفتوح Microsoft. لمزيد من المعلومات ، راجع مدونة الشهادة الأسئلة الشائعة أو الاتصال بـ [email protected] مع أي أسئلة أو تعليقات إضافية.
