conformal language modeling

コンフォーマル言語モデリング

詳細については、コンフォーマル言語モデリングのコード

抽象的な

この論文では、パフォーマンス保証を備えた予測セットを作成する言語モデル（LMS）のコンフォーマル予測に対する新しいアプローチを提案します。 LM応答は、通常、言語の大規模な組み合わせ出力スペースにわたって予測された分布からサンプリングされます。これをコンフォーマル予測に変換すると、セットが少なくとも1つの許容可能な応答をカバーすると確信するまで、成長する候補セットに追加されるLM出力をサンプリングするための停止ルールを校正します。一部のサンプルは低品質である可能性があるため、ノイズを減らすために出力セットから候補者を削除するための拒絶ルールを同時に調整します。コンフォーマル予測と同様に、最終出力セットが特定の望ましい分布のない保証に従うことを証明できます。これらの候補応答のセット内で、個々のコンポーネントのサブセット（フレーズや文など）のサブセットを識別できることも示しています。この方法は、サンプリングをサポートする任意のLM APIに適用できます。さらに、異なるLMバリアントを使用して、オープンドメインの質問応答、テキストの要約、および放射線学レポート生成で複数のタスクに方法を適用する際に、限られた数の総サンプル内で多くの望ましいカバレッジレベルを達成できることを経験的に実証します。

データ

また、データ事前処理については、補助レポを参照してください。

引用

あなたがあなたの仕事でこれを使用するならば、引用してください：

 @misc{quach2023conformal,
      title={Conformal Language Modeling}, 
      author={Victor Quach and Adam Fisch and Tal Schuster and Adam Yala and Jae Ho Sohn and Tommi S. Jaakkola and Regina Barzilay},
      year={2023},
      eprint={2306.10193},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}