Noisy Exemplars Make Large Language Models More Robust

Шумные примеры делают большие языковые модели более надежными: анализ с доменом-агентством поведенческого анализа

Пробежать испытания

python evaluate.py --model <model_name> --dataset <dataset_name> --prompt <prompt method name> --shot <# shots> --perturb <perturbation type name> --perturb_exemplar <True/False> --dev/--no-dev

• model : gptturbo (рекомендуется) или gpt3
• dataset : в настоящее время поддерживается только gsm8k
• prompt : cot , 0cot или ltm
• shot : 1 , 2 , 4 или 8
• perturb : synonym , repetition , shortcut , typo или None
• perturb_exemplar : True или False , указывая, применять ли возмущение на примерные вопросы
• dev : True или False

Перед запуском кода, пожалуйста, убедитесь, что вы создали файл .env в корневом каталоге и добавили следующую строку:

OPENAI_API_KEY=<your openai api key>

После завершения программы запуск имя файла журнала в течение всего времени с гиперпараметрами будет записано в log_files.csv

Оценка эффективности

python compute_accuracy.py

После завершения программа должна создать новый файл с именем log_files_with_accuracy.csv , который добавляет столбец accuracy в исходный log_files.csv

Визуализация

python generate_plots.py

Графики генерируются в каталоге /images

Очистить файлы журналов

python clean_logs.py

Это удалит все файлы журнала, которые не находятся в log_files.csv из каталога logs