Noisy Exemplars Make Large Language Models More Robust

嘈杂的示例使大型语言模型更加健壮：域 - 不可思议的行为分析

进行试验

python evaluate.py --model <model_name> --dataset <dataset_name> --prompt <prompt method name> --shot <# shots> --perturb <perturbation type name> --perturb_exemplar <True/False> --dev/--no-dev

• model ： gptturbo （推荐）或gpt3
• dataset ：目前，仅支持gsm8k
• prompt ： cot ， 0cot或ltm
• shot 2 1 8 4
• perturb ： synonym ， repetition ， shortcut ， typo或None
• perturb_exemplar ： True或False ，指示是否在示例性问题上应用扰动
• dev ： True或False ，指示是否使用5个示例迷你数据集进行调试

在运行代码之前，请确保在根目录中创建.env文件，并添加以下行：

OPENAI_API_KEY=<your openai api key>

程序完成运行后，将在log_files.csv中记录试验的日志文件名以及超参数

绩效评估

python compute_accuracy.py

完成后，程序应创建一个名为log_files_with_accuracy.csv的新文件，该文件将accuracy列添加到原始log_files.csv

可视化

python generate_plots.py

图是在/images目录下生成的

清理日志文件

python clean_logs.py

这将从logs目录中删除所有未在log_files.csv中的日志文件