الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

النماذج الصاخبة تجعل نماذج لغة كبيرة أكثر قوة: تحليل سلوكي مجال

تشغيل التجارب

python evaluate.py --model <model_name> --dataset <dataset_name> --prompt <prompt method name> --shot <# shots> --perturb <perturbation type name> --perturb_exemplar <True/False> --dev/--no-dev

  • model : gptturbo (موصى به) أو gpt3
  • dataset : حاليًا ، يتم دعم gsm8k فقط
  • prompt : cot أو 0cot أو ltm
  • shot : 1 ، 2 ، 4 أو 8
  • perturb : synonym ، repetition ، shortcut ، typo ، أو None
  • perturb_exemplar : True أو False ، يشير إلى ما إذا كان يجب تطبيق الاضطراب على الأسئلة النموذجية
  • dev : True أو False ، يشير إلى ما إذا كنت تريد استخدام مجموعة بيانات مصغرة 5 مثيل للتصحيح أم لا

قبل تشغيل الرمز ، يرجى التأكد من إنشاء ملف .env في دليل الجذر وإضافة السطر التالي:

OPENAI_API_KEY=<your openai api key>

بعد الانتهاء من البرنامج ، سيتم تسجيل اسم ملف السجل للتجربة log_files.csv

تقييم الأداء

python compute_accuracy.py

عند الانتهاء ، يجب على البرنامج إنشاء ملف جديد يسمى log_files_with_accuracy.csv الذي يضيف عمود accuracy إلى log_files.csv الأصلي

التصور

python generate_plots.py

يتم إنشاء المؤامرات ضمن /images

تنظيف ملفات السجل

python clean_logs.py

سيؤدي ذلك إلى إزالة جميع ملفات السجل التي ليست في log_files.csv من دليل logs

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل