conformal language modeling

Modelado de idiomas conformes

Código para modelado de lenguaje conforme para más detalles

Abstracto

En este artículo, proponemos un enfoque novedoso para la predicción conforme para los modelos de idiomas (LMS) en el que producimos conjuntos de predicciones con garantías de rendimiento. Las respuestas de LM se muestran típicamente a partir de una distribución predicha sobre el gran espacio de salida combinatoria del lenguaje. Traduciendo esto a una predicción conforme, calibramos una regla de detención para muestrear las salidas de LM que se agregan a un creciente conjunto de candidatos hasta que confiamos en que el conjunto cubre al menos una respuesta aceptable. Dado que algunas muestras pueden ser de baja calidad, también calibramos simultáneamente una regla de rechazo para eliminar los candidatos del conjunto de salida para reducir el ruido. Similar a la predicción conforme, podemos demostrar que la salida final establece obedecer ciertas garantías deseables sin distribución. Dentro de estos conjuntos de respuestas candidatas, también mostramos que también podemos identificar subconjuntos de componentes individuales, como frases o oraciones, que son cada una correcta independientemente (por ejemplo, que no son "alucinaciones"), nuevamente con garantías. Nuestro método se puede aplicar a cualquier API LM que admita el muestreo. Además, demostramos empíricamente que podemos lograr muchos niveles de cobertura deseados dentro de un número limitado de muestras totales al aplicar nuestro método a múltiples tareas en la respuesta a preguntas de dominio abierto, resumen de texto e generación de informes de radiología utilizando diferentes variantes de LM.

Datos

Vea también nuestro repositorio auxiliar para el preprocesamiento de datos.

Citación

Si usa esto en su trabajo, cite:

 @misc{quach2023conformal,
      title={Conformal Language Modeling}, 
      author={Victor Quach and Adam Fisch and Tal Schuster and Adam Yala and Jae Ho Sohn and Tommi S. Jaakkola and Regina Barzilay},
      year={2023},
      eprint={2306.10193},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}