conformal language modeling

共形语言建模

详细信息的共形语言建模代码

抽象的

在本文中，我们提出了一种新颖的方法来对语言模型（LMS）进行保形预测，在该预测中，我们提供了具有性能保证的预测集。 LM响应通常是根据语言的大型组合输出空间中预测的分布进行采样的。将其转换为保形预测，我们校准了一个停止规则，以对LM输出进行采样，该规则将添加到越来越多的候选人中，直到我们确信该集合至少涵盖了至少一个可接受的响应。由于某些样本可能是低质量的，因此我们还同时校准了从输出集中删除候选人以减少噪声的拒绝规则。与共形预测类似，我们可以证明最终输出集遵守某些理想的无分配保证。在这些候选响应集中，我们还表明，我们还可以识别单个组件的子集 - 例如短语或句子 - 每个人都独立正确（例如，不是“幻觉”），同样可以保证。我们的方法可以应用于支持采样的任何LM API。此外，我们从经验上证明，在使用不同的LM变体中，将我们的方法应用于开放域问答，文本摘要和放射学报告生成的多个任务时，我们可以在有限数量的总样本中达到许多所需的覆盖水平。

数据

另请参阅我们的辅助存储库，以进行数据处理。

引用

如果您在工作中使用它，请引用：

 @misc{quach2023conformal,
      title={Conformal Language Modeling}, 
      author={Victor Quach and Adam Fisch and Tal Schuster and Adam Yala and Jae Ho Sohn and Tommi S. Jaakkola and Regina Barzilay},
      year={2023},
      eprint={2306.10193},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}