Noisy Exemplars Make Large Language Models More Robust

ノイズの多い模範は大きな言語モデルをより堅牢にします：ドメインに依存しない行動分析

トライアルを実行します

python evaluate.py --model <model_name> --dataset <dataset_name> --prompt <prompt method name> --shot <# shots> --perturb <perturbation type name> --perturb_exemplar <True/False> --dev/--no-dev

• model ： gptturbo （推奨）またはgpt3
• dataset ：現在、 gsm8kのみがサポートされています
• prompt ： cot 、 0cotまたはltm
• shot ： 1 2 8 4
• perturb ： synonym 、 repetition 、 shortcut 、 typo 、またNone
• perturb_exemplar ： True or False 、模範的な質問に摂動を適用するかどうかを示します
• dev ： True or False 、デバッグに5-Example Miniデータセットを使用するかどうかを示します

コードを実行する前に、ルートディレクトリに.envファイルを作成し、次の行を追加してください。

OPENAI_API_KEY=<your openai api key>

プログラムが実行された後、ハイパーパラメーターとともにトライアルのログファイル名がlog_files.csvに記録されます

パフォーマンス評価

python compute_accuracy.py

完了すると、プログラムは、元のlog_files.csvにaccuracy列を追加するlog_files_with_accuracy.csvという新しいファイルを作成する必要があります

視覚化

python generate_plots.py

プロットは/imagesディレクトリの下に生成されます

ログファイルをクリーンアップします

python clean_logs.py

これにより、 logsディレクトリからlog_files.csvにないすべてのログファイルが削除されます