conformal language modeling

Modelagem de Linguagem Conformal

Código para modelagem de linguagem conforme para obter detalhes

Resumo

Neste artigo, propomos uma nova abordagem à previsão conforme para modelos de idiomas (LMS), nos quais produzimos conjuntos de previsões com garantias de desempenho. As respostas de LM são normalmente amostradas a partir de uma distribuição prevista sobre o grande espaço de saída combinatória da linguagem. Traduzindo isso em previsão conforme, calibramos uma regra de parada para amostrar saídas de LM que são adicionadas a um conjunto crescente de candidatos até estarmos confiantes de que o conjunto cobre pelo menos uma resposta aceitável. Como algumas amostras podem ser de baixa qualidade, também calibramos simultaneamente uma regra de rejeição para remover os candidatos do conjunto de saída para reduzir o ruído. Semelhante à previsão conforme, podemos provar que a saída final definida obedece a certas garantias desejáveis ​​sem distribuição. Dentro desses conjuntos de respostas candidatas, também mostramos que também podemos identificar subconjuntos de componentes individuais-como frases ou frases-que são cada uma de forma independente (por exemplo, que não são "alucinações"), novamente com garantias. Nosso método pode ser aplicado a qualquer API LM que suporta a amostragem. Além disso, demonstramos empiricamente que podemos atingir muitos níveis de cobertura desejados dentro de um número limitado de amostras totais ao aplicar nosso método a várias tarefas em respostas de perguntas em domínio aberto, resumo de texto e geração de relatórios de radiologia usando diferentes variantes de LM.

Dados

Consulte também nosso repositório auxiliar para preparar o prepocessamento de dados.

Citação

Se você usar isso em seu trabalho, cite:

 @misc{quach2023conformal,
      title={Conformal Language Modeling}, 
      author={Victor Quach and Adam Fisch and Tal Schuster and Adam Yala and Jae Ho Sohn and Tommi S. Jaakkola and Regina Barzilay},
      year={2023},
      eprint={2306.10193},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}