conformal language modeling

共形語言建模

詳細信息的共形語言建模代碼

抽象的

在本文中，我們提出了一種新穎的方法來對語言模型（LMS）進行保形預測，在該預測中，我們提供了具有性能保證的預測集。 LM響應通常是根據語言的大型組合輸出空間中預測的分佈進行採樣的。將其轉換為保形預測，我們校準了一個停止規則，以對LM輸出進行採樣，該規則將添加到越來越多的候選人中，直到我們確信該集合至少涵蓋了至少一個可接受的響應。由於某些樣本可能是低質量的，因此我們還同時校準了從輸出集中刪除候選人以減少噪聲的拒絕規則。與共形預測類似，我們可以證明最終輸出集遵守某些理想的無分配保證。在這些候選響應集中，我們還表明，我們還可以識別單個組件的子集 - 例如短語或句子 - 每個人都獨立正確（例如，不是“幻覺”），同樣可以保證。我們的方法可以應用於支持採樣的任何LM API。此外，我們從經驗上證明，在使用不同的LM變體中，將我們的方法應用於開放域問答，文本摘要和放射學報告生成的多個任務時，我們可以在有限數量的總樣本中達到許多所需的覆蓋水平。

數據

另請參閱我們的輔助存儲庫，以進行數據處理。

引用

如果您在工作中使用它，請引用：

 @misc{quach2023conformal,
      title={Conformal Language Modeling}, 
      author={Victor Quach and Adam Fisch and Tal Schuster and Adam Yala and Jae Ho Sohn and Tommi S. Jaakkola and Regina Barzilay},
      year={2023},
      eprint={2306.10193},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}