conformal language modeling

Pemodelan bahasa konformal

Kode untuk pemodelan bahasa konformal untuk detailnya

Abstrak

Dalam makalah ini, kami mengusulkan pendekatan baru untuk prediksi konformal untuk model bahasa (LMS) di mana kami menghasilkan set prediksi dengan jaminan kinerja. Respons LM biasanya diambil sampelnya dari distribusi yang diprediksi di atas ruang output kombinatorial yang besar. Menerjemahkan ini ke prediksi konformal, kami mengkalibrasi aturan penghentian untuk pengambilan sampel output LM yang ditambahkan ke kandidat yang tumbuh sampai kami yakin bahwa set tersebut mencakup setidaknya satu respons yang dapat diterima. Karena beberapa sampel mungkin berkualitas rendah, kami juga secara bersamaan mengkalibrasi aturan penolakan untuk menghilangkan kandidat dari output yang ditetapkan untuk mengurangi kebisingan. Mirip dengan prediksi konformal, kita dapat membuktikan bahwa output akhir mengatur jaminan bebas distribusi tertentu yang diinginkan. Dalam set respons kandidat ini, kami juga menunjukkan bahwa kami juga dapat mengidentifikasi himpunan bagian komponen individu --- seperti frasa atau kalimat --- yang masing-masing benar (misalnya, yang bukan "halusinasi"), sekali lagi dengan jaminan. Metode kami dapat diterapkan pada LM API apa pun yang mendukung pengambilan sampel. Selain itu, kami secara empiris menunjukkan bahwa kami dapat mencapai banyak tingkat cakupan yang diinginkan dalam sejumlah total sampel ketika menerapkan metode kami pada beberapa tugas dalam menjawab pertanyaan domain terbuka, peringkasan teks, dan generasi laporan radiologi menggunakan varian LM yang berbeda.

Data

Lihat juga repo tambahan kami untuk pemrosesan data.

Kutipan

Jika Anda menggunakan ini dalam pekerjaan Anda, silakan kutip:

 @misc{quach2023conformal,
      title={Conformal Language Modeling}, 
      author={Victor Quach and Adam Fisch and Tal Schuster and Adam Yala and Jae Ho Sohn and Tommi S. Jaakkola and Regina Barzilay},
      year={2023},
      eprint={2306.10193},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}