Conformers

Конформеры

Это неофициальная реализация бумажного конформного языкового моделирования. Я нашел бумагу интересной и хотел поиграть с ней. Все еще в очень раннем состоянии - единственная строгая, статистическая гарантия в настоящее время заключается в том, что есть ошибки и недопонимание. Пожалуйста, извините за состояние текущего кода - я обещаю его!

Статус

• Первоначальная реализация выполнена
• Тесты
• Процедура тестирования Парето (а не текущий поиск сетки + комбо Бонферрони)
• Выбор компонентов
• PYPI пакет
• Эксперименты

Изменения из бумаги

• Отбор выборки больше не является жадным - авторы утверждают, что используют жадную выборку (выборка трансформатора по умолчанию), но это приведет к тому же выводу для всех образцов.
• Выбор функции поступления, порог функции поступления и Эпсилон, по -видимому, очень чувствителен. В бумаге авторы выбирают пороги функции поступления в зависимости от задачи (которые, я полагаю, они вывели экспериментально) и пробуют разные значения Epsilon. В этой реализации я попытаюсь ввести более общие функции приема.

Установка

Пакет PYPI пока не доступен. Чтобы установить, клонировать репозиторий и запустить

pip install poetry
poetry install

Использование

Python API еще не зарегистрирован в камне, но цель состоит в том, чтобы легко экспериментировать с различным допущением, групповой уверенностью и функциями отклонения. Потенциально некоторые довольно интересные комбинации с недавней модельной статьей языка CFG. Ниже приведен пример с GPT2.

 from conformer import Calibrator , Sampler , Components
import torch
from random import randint


x = [
    "What is the capital of France?" ,
    "Which prime-minster of the UK was the biggest nob?" ,
] 

from transformers import GPT2LMHeadModel , GPT2Tokenizer

model_name = "gpt2"
model = GPT2LMHeadModel . from_pretrained ( model_name ). cuda ()
tokenizer = GPT2Tokenizer . from_pretrained ( model_name )
tokenizer . pad_token_id = tokenizer . eos_token_id

calibrator = Calibrator (
    model = model ,
    tokenizer = tokenizer ,
    calibration_prompts = x ,
)

calibrator . set_admission_function ( Components . admission . debug )
calibrator . set_group_confidence_function ( Components . group_confidence . debug , torch . tensor ([ 0.1 , 0.5 , 1 ]))
calibrator . add_rejection_function ( Components . rejection . debug , torch . tensor ([ 0.1 , 0.5 , 1 ]))
calibrator . set_FWER ( Components . FWER . debug )

lambdaz = calibrator . search ()

sampler = Sampler . from_calibrator ( calibrator )

sampler . sample_with_rejection ( "What is the capital of France?" )

Это использует некоторые из встроенных функций поступления/GF/FWER/DEPRECTION. Может также просто использовать свою собственную функцию, например:

 calibrator . set_group_confidence_function ( lambda x : x > 0.5 , torch . tensor ([ 0.1 , 0.5 , 1 ]))