LoGU

Logu: поколение в длинной форме с выражениями неопределенности

Руихан Ян ¹ Кайки Чжан ² Чжисонг Чжан ³

¹ Университет Фудана

² Кембриджский университет

³ Tencent AI Lab

Введение

В то время как крупные языковые модели (LLMS) демонстрируют впечатляющие возможности, они по -прежнему борются с созданием фактически неверного содержания (то есть галлюцинации). Многообещающим подходом к смягчению этой проблемы является позволяет моделям выражать неопределенность, когда не уверен. Предыдущие исследования по моделированию неопределенности в первую очередь были сосредоточены на короткой форме QA, но реальные приложения часто требуют гораздо более длинных ответов. В этой работе мы вводим задачу генерации длинного формирования с неопределенностью (Logu). Мы выявляем две ключевые проблемы: подавление неопределенности , когда модели не решаются выражать неопределенность и неопределенность смещения , когда модели неверно передают неопределенность.

Чтобы решить эти проблемы, мы предлагаем структуру сбора данных на основе уточнения и двухэтапный тренировочный конвейер. Наша структура принимает стратегию разделения и подтверждения, уточняя неопределенность, основанную на атомных претензиях. Собранные данные затем используются при обучении посредством контролируемой тонкой настройки (SFT) и непосредственной оптимизации предпочтений (DPO) для повышения экспрессии неопределенности. Обширные эксперименты по трем инструкциям с длинными формами после наборов данных показывают, что наш метод значительно повышает точность, снижает галлюцинации и поддерживает полноценность ответов.

Как установить

Вы можете использовать следующие команды для установки среды для Logu:

conda create -n LoGU python==3.8
conda activate LoGU
pip install -r lf_requirements.txt
pip install -r vllm_requirements.txt

Бегать

Попробуйте следующую команду, чтобы проверить наш метод на BIOS, Longfact, Wildhallu:

• Генерировать ответы

 cd ./scripts
bash generate_vllm_responses.sh

• Рассчитайте фактическую точность (FA)

bash eval_pipeline.sh

• Рассчитайте неопределенную точность (UC)

bash generate_unc_answers.sh
bash factcheck_unc_answers.sh

Данные обучения

Вскоре!

Мы также предоставляем несколько моделей выражения неопределенности в концентраторе модели Huggingface для Fast Trail:

Модель	Связь
Rhyang2021/underect_llama3_8b	Объятие
rhyang2021/denfore_mistral_7b	Объятие

Если у вас есть какие -либо вопросы, пожалуйста, не стесняйтесь написать мне или написать мне проблему.