conformal language modeling

Modélisation du langage conforme

Code pour la modélisation du langage conforme pour plus de détails

Abstrait

Dans cet article, nous proposons une nouvelle approche de la prédiction conforme pour les modèles de langage (LMS) dans lesquelles nous produisons des ensembles de prédiction avec des garanties de performance. Les réponses LM sont généralement échantillonnées à partir d'une distribution prévue sur le grand espace de sortie combinatoire du langage. En traduisant cela en prédiction conforme, nous calibrons une règle d'arrêt pour l'échantillonnage des sorties LM qui sont ajoutées à un ensemble croissant de candidats jusqu'à ce que nous soyons convaincus que l'ensemble couvre au moins une réponse acceptable. Étant donné que certains échantillons peuvent être de faible qualité, nous calibrons également simultanément une règle de rejet pour éliminer les candidats de l'ensemble de sortie pour réduire le bruit. Semblable à la prédiction conforme, nous pouvons prouver que l'ensemble de sortie final obéit à certaines garanties sans distribution souhaitables. Dans ces ensembles de réponses candidates, nous montrons également que nous pouvons également identifier des sous-ensembles de composants individuels - comme des phrases ou des phrases --- qui sont chacun indépendamment corrects (par exemple, qui ne sont pas des "hallucinations"), encore une fois avec des garanties. Notre méthode peut être appliquée à n'importe quelle API LM qui prend en charge l'échantillonnage. De plus, nous démontrons empiriquement que nous pouvons atteindre de nombreux niveaux de couverture souhaités dans un nombre limité d'échantillons totaux lors de l'application de notre méthode à plusieurs tâches dans la réponse aux questions du domaine ouvert, le résumé de texte et la génération de rapports de radiologie en utilisant différentes variantes LM.

Données

Voir également notre dépôt auxiliaire pour la préparation des données.

Citation

Si vous l'utilisez dans votre travail, veuillez citer:

 @misc{quach2023conformal,
      title={Conformal Language Modeling}, 
      author={Victor Quach and Adam Fisch and Tal Schuster and Adam Yala and Jae Ho Sohn and Tommi S. Jaakkola and Regina Barzilay},
      year={2023},
      eprint={2306.10193},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}