Noisy Exemplars Make Large Language Models More Robust

Teladan yang berisik membuat model bahasa besar lebih kuat: analisis perilaku agnostik domain

Jalankan uji coba

python evaluate.py --model <model_name> --dataset <dataset_name> --prompt <prompt method name> --shot <# shots> --perturb <perturbation type name> --perturb_exemplar <True/False> --dev/--no-dev

• model : gptturbo (Direkomendasikan) atau gpt3
• dataset : Saat ini, hanya gsm8k yang didukung
• prompt : cot , 0cot atau ltm
• shot : 1 , 2 , 4 atau 8
• perturb : synonym , repetition , shortcut , typo , atau None
• perturb_exemplar : True atau False , menunjukkan apakah akan menerapkan gangguan pada pertanyaan contoh
• dev : True atau False , menunjukkan apakah akan menggunakan 5-contoh mini dataset untuk debugging atau tidak

Sebelum menjalankan kode, pastikan Anda membuat file .env di direktori root dan tambahkan baris berikut:

OPENAI_API_KEY=<your openai api key>

Setelah program selesai berjalan, nama file log percobaan bersama dengan hyperparameters akan direkam di log_files.csv

Evaluasi Kinerja

python compute_accuracy.py

Setelah selesai, program harus membuat file baru yang disebut log_files_with_accuracy.csv yang menambahkan kolom accuracy ke log_files.csv asli

Visualisasi

python generate_plots.py

Plot dihasilkan di bawah /images

Bersihkan file log

python clean_logs.py

Ini akan menghapus semua file log yang tidak ada di log_files.csv dari direktori logs