conformal language modeling

การสร้างแบบจำลองภาษาที่สอดคล้องกัน

รหัสสำหรับการสร้างแบบจำลองภาษาที่สอดคล้องกันสำหรับรายละเอียด

เชิงนามธรรม

ในบทความนี้เราเสนอวิธีการใหม่ ๆ ในการทำนายตามแบบจำลองภาษา (LMS) ซึ่งเราผลิตชุดการทำนายด้วยการรับประกันประสิทธิภาพ โดยทั่วไปแล้วการตอบสนองของ LM จะถูกสุ่มตัวอย่างจากการแจกแจงที่คาดการณ์ไว้ในพื้นที่เอาต์พุตขนาดใหญ่แบบ combinatorial การแปลสิ่งนี้เป็นการคาดการณ์ที่สอดคล้องกันเราปรับกฎการหยุดสำหรับการสุ่มตัวอย่างเอาต์พุต LM ที่เพิ่มเข้ามาในกลุ่มผู้สมัครที่กำลังเติบโตจนกว่าเราจะมั่นใจว่าชุดครอบคลุมอย่างน้อยหนึ่งคำตอบที่ยอมรับได้ เนื่องจากตัวอย่างบางตัวอย่างอาจมีคุณภาพต่ำเราจึงปรับกฎการปฏิเสธเพื่อลบผู้สมัครออกจากชุดเอาต์พุตเพื่อลดเสียงรบกวน เช่นเดียวกับการทำนายที่สอดคล้องกันเราสามารถพิสูจน์ได้ว่าชุดเอาต์พุตสุดท้ายเป็นไปตามหลักประกันการค้ำประกันที่ปราศจากการกระจายที่ต้องการ ภายในชุดการตอบสนองของผู้สมัครเหล่านี้เรายังแสดงให้เห็นว่าเรายังสามารถระบุชุดย่อยของแต่ละองค์ประกอบ --- เช่นวลีหรือประโยค --- ที่แต่ละคนถูกต้องอย่างอิสระ (เช่นนั่นไม่ใช่ "ภาพหลอน") อีกครั้งด้วยการรับประกัน วิธีการของเราสามารถนำไปใช้กับ LM API ใด ๆ ที่รองรับการสุ่มตัวอย่าง นอกจากนี้เรายังแสดงให้เห็นว่าเราสามารถบรรลุระดับความครอบคลุมที่ต้องการมากมายภายในจำนวนตัวอย่างทั้งหมดที่ จำกัด เมื่อใช้วิธีการของเรากับงานหลายอย่างในการตอบคำถามแบบเปิดโดเมนการสรุปข้อความและการสร้างรายงานรังสีวิทยาโดยใช้ตัวแปร LM ที่แตกต่างกัน

ข้อมูล

ดู Repo เสริมของเราสำหรับการเตรียมข้อมูล

การอ้างอิง

หากคุณใช้สิ่งนี้ในงานของคุณโปรดอ้างอิง:

 @misc{quach2023conformal,
      title={Conformal Language Modeling}, 
      author={Victor Quach and Adam Fisch and Tal Schuster and Adam Yala and Jae Ho Sohn and Tommi S. Jaakkola and Regina Barzilay},
      year={2023},
      eprint={2306.10193},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}