conformal language modeling

Konforme Sprachmodellierung

Code für konforme Sprachmodellierung für Details

Abstrakt

In diesem Artikel schlagen wir einen neuartigen Ansatz zur konformen Vorhersage für Sprachmodelle (LMS) vor, bei dem wir Vorhersagesätze mit Leistungsgarantien erstellen. LM -Antworten werden typischerweise aus einer vorhergesagten Verteilung über den großen, kombinatorischen Ausgangsraum der Sprache abgetastet. Wenn wir dies in die konforme Vorhersage übersetzen, kalibrieren wir eine Stoppregel für die Abtastung von LM -Ausgängen, die zu einem wachsenden Satz von Kandidaten hinzugefügt werden, bis wir zuversichtlich sind, dass der Satz mindestens eine akzeptable Antwort abdeckt. Da einige Proben möglicherweise von geringer Qualität sein können, kalibrieren wir gleichzeitig eine Abstoßungsregel, um Kandidaten aus dem Ausgangssatz zu entfernen, um das Rauschen zu reduzieren. Ähnlich wie bei der konformen Vorhersage können wir nachweisen, dass der endgültige Ausgangssatz bestimmten wünschenswerten verteilungsfreien Garantien folgt. Innerhalb dieser Sätze von Kandidatenantworten zeigen wir auch, dass wir auch Teilmengen einzelner Komponenten-wie Phrasen oder Sätze-identifizieren können, die jeweils unabhängig voneinander korrekt sind (z. B. keine "Halluzinationen"), wieder mit Garantien. Unsere Methode kann auf jede LM -API angewendet werden, die die Stichprobe unterstützt. Darüber hinaus zeigen wir empirisch, dass wir in einer begrenzten Anzahl von Gesamtproben viele gewünschte Abdeckungswerte erreichen können, wenn wir unsere Methode auf mehrere Aufgaben bei der Beantwortung von Fragen zur Beantwortung von Fragen, Textübersicht und der Erzeugung von Radiologie-Bericht unter Verwendung verschiedener LM-Varianten anwenden können.

Daten

Sehen Sie auch unser Auxiliary -Repo für die Datenvorbereitung.

Zitat

Wenn Sie dies in Ihrer Arbeit verwenden, zitieren Sie bitte:

 @misc{quach2023conformal,
      title={Conformal Language Modeling}, 
      author={Victor Quach and Adam Fisch and Tal Schuster and Adam Yala and Jae Ho Sohn and Tommi S. Jaakkola and Regina Barzilay},
      year={2023},
      eprint={2306.10193},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}