conformal language modeling

적합성 언어 모델링

자세한 내용은 적합성 언어 모델링 코드

추상적인

이 논문에서는 성능 보장으로 예측 세트를 생성하는 언어 모델 (LMS)에 대한 적합성 예측에 대한 새로운 접근법을 제안합니다. LM 응답은 일반적으로 언어의 큰 조합 출력 공간에 대한 예측 된 분포에서 샘플링됩니다. 이것을 적합한 예측으로 번역하면, 우리는 세트가 적어도 하나의 허용 가능한 응답을 덮을 것이라고 확신 할 때까지 점점 더 많은 후보 세트에 추가되는 LM 출력을 샘플링하기위한 중지 규칙을 보정합니다. 일부 샘플은 품질이 낮을 수 있으므로 출력 세트에서 후보자를 제거하여 노이즈를 줄이기위한 거부 규칙을 동시에 보정합니다. 적합한 예측과 유사하게, 우리는 최종 출력 세트가 바람직한 분포가없는 보증에 순종한다는 것을 증명할 수 있습니다. 이러한 후보 응답 세트 내에서, 우리는 또한 우리는 또한 개별 구성 요소의 서브 세트 (예 : 문구 나 문장과 같은)를 식별 할 수 있음을 보여줍니다. 우리의 방법은 샘플링을 지원하는 모든 LM API에 적용 할 수 있습니다. 또한, 우리는 다른 LM 변형을 사용하여 공개 도메인 질문 응답, 방사선 보고서 생성에서 여러 작업에 방법을 적용 할 때 제한된 수의 총 샘플 내에서 많은 원하는 적용 범위 수준을 달성 할 수 있음을 경험적으로 입증합니다.

데이터

또한 데이터 전달에 대한 보조 레포를 참조하십시오.

소환

작업에서 이것을 사용하면 다음을 인용하십시오.

 @misc{quach2023conformal,
      title={Conformal Language Modeling}, 
      author={Victor Quach and Adam Fisch and Tal Schuster and Adam Yala and Jae Ho Sohn and Tommi S. Jaakkola and Regina Barzilay},
      year={2023},
      eprint={2306.10193},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}