Noisy Exemplars Make Large Language Models More Robust

แบบอย่างที่มีเสียงดังทำให้แบบจำลองภาษาขนาดใหญ่มีความแข็งแกร่งมากขึ้น: การวิเคราะห์พฤติกรรมของโดเมน

เรียกใช้การทดลอง

python evaluate.py --model <model_name> --dataset <dataset_name> --prompt <prompt method name> --shot <# shots> --perturb <perturbation type name> --perturb_exemplar <True/False> --dev/--no-dev

• model : gptturbo (แนะนำ) หรือ gpt3
• dataset : ปัจจุบันรองรับ gsm8k เท่านั้น
• prompt : cot , 0cot หรือ ltm
• shot : 1 , 2 , 4 หรือ 8
• perturb : synonym repetition , shortcut , typo หรือ None
• perturb_exemplar : True หรือ False แสดงว่าจะใช้การก่อกวนกับคำถามแบบอย่าง
• dev : True หรือ False แสดงว่าจะใช้ชุดข้อมูลมินิตัวอย่าง 5 ตัวอย่างสำหรับการดีบักหรือไม่

ก่อนเรียกใช้รหัสโปรดตรวจสอบให้แน่ใจว่าคุณสร้างไฟล์. .env ในไดเรกทอรีรูทและเพิ่มบรรทัดต่อไปนี้:

OPENAI_API_KEY=<your openai api key>

หลังจากที่โปรแกรมทำงานเสร็จสิ้นชื่อไฟล์บันทึกของการทดลองพร้อมกับ hyperparameters จะถูกบันทึกใน log_files.csv

การประเมินประสิทธิภาพ

python compute_accuracy.py

เมื่อเสร็จสิ้นโปรแกรมควรสร้างไฟล์ใหม่ที่เรียกว่า log_files_with_accuracy.csv ซึ่งเพิ่มคอลัมน์ accuracy ลงใน log_files.csv ดั้งเดิม

การแสดงภาพ

python generate_plots.py

พล็อตถูกสร้างขึ้นภายใต้ไดเร็กทอรี /images

ทำความสะอาดไฟล์บันทึก

python clean_logs.py

สิ่งนี้จะลบไฟล์บันทึกทั้งหมดที่ไม่ได้อยู่ใน log_files.csv ออกจากไดเร็กทอรี logs