conformal language modeling

Конформное языковое моделирование

Код для конформного языкового моделирования для получения подробной информации

Абстрактный

В этой статье мы предлагаем новый подход к конформному прогнозу для языковых моделей (LMS), в котором мы производим наборы прогнозирования с гарантиями производительности. Ответы LM, как правило, отображаются из прогнозируемого распределения по большому комбинаторному выходному пространству языка. Перевод этого в конформный прогноз, мы откалибруем правило остановки для отбора проб LM, которые добавляются к растущему набору кандидатов, пока мы не уверены, что набор охватывает по крайней мере один приемлемый ответ. Поскольку некоторые образцы могут быть низким качеством, мы также одновременно откалибруем правило отклонения для удаления кандидатов из выходного набора для снижения шума. Подобно конформному прогнозу, мы можем доказать, что конечный выходной набор подчиняется определенным желательным гарантиям без распределения. В рамках этих наборов ответов кандидатов мы также показываем, что мы также можем идентифицировать подмножества отдельных компонентов-такие как фразы или предложения-каждый из которых является независимо правильным (например, не являются «галлюцинациями»), опять же с гарантиями. Наш метод может быть применен к любым API LM, который поддерживает выборку. Кроме того, мы эмпирически демонстрируем, что мы можем достичь многих желаемых уровней охвата в пределах ограниченного числа общих образцов при применении нашего метода к нескольким задачам в ответе на вопросы с открытым доменом, суммированием текста и генерации радиологии с использованием различных вариантов LM.

Данные

Также см. В нашем вспомогательном репо для предварительной обработки данных.

Цитирование

Если вы используете это в своей работе, сообщите:

 @misc{quach2023conformal,
      title={Conformal Language Modeling}, 
      author={Victor Quach and Adam Fisch and Tal Schuster and Adam Yala and Jae Ho Sohn and Tommi S. Jaakkola and Regina Barzilay},
      year={2023},
      eprint={2306.10193},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}