Noisy Exemplars Make Large Language Models More Robust

嘈雜的示例使大型語言模型更加健壯：域 - 不可思議的行為分析

進行試驗

python evaluate.py --model <model_name> --dataset <dataset_name> --prompt <prompt method name> --shot <# shots> --perturb <perturbation type name> --perturb_exemplar <True/False> --dev/--no-dev

• model ： gptturbo （推薦）或gpt3
• dataset ：目前，僅支持gsm8k
• prompt ： cot ， 0cot或ltm
• shot 2 1 8 4
• perturb ： synonym ， repetition ， shortcut ， typo或None
• perturb_exemplar ： True或False ，指示是否在示例性問題上應用擾動
• dev ： True或False ，指示是否使用5個示例迷你數據集進行調試

在運行代碼之前，請確保在根目錄中創建.env文件，並添加以下行：

OPENAI_API_KEY=<your openai api key>

程序完成運行後，將在log_files.csv中記錄試驗的日誌文件名以及超參數

績效評估

python compute_accuracy.py

完成後，程序應創建一個名為log_files_with_accuracy.csv的新文件，該文件將accuracy列添加到原始log_files.csv

可視化

python generate_plots.py

圖是在/images目錄下生成的

清理日誌文件

python clean_logs.py

這將從logs目錄中刪除所有未在log_files.csv中的日誌文件