LoGU

logu：不确定性表达式的长形成生成

Ruihan Yang ¹ Caiqi Zhang ² Zhang Zhang ³

¹福丹大学

²剑桥大学

^3个腾讯AI实验室

介绍

尽管大型语言模型（LLMS）表现出令人印象深刻的功能，但它们仍然在产生事实不正确的内容（即幻觉）方面很难。缓解此问题的一种有希望的方法是使模型在不确定时表达不确定性。对不确定性建模的先前研究主要集中在短形式质量质量质量质量质量质量质量质量质量质量质量请QA上，但是现实世界中的应用通常需要更长的响应。在这项工作中，我们介绍了不确定性（LOGU）的长形成生成任务。我们确定了两个关键的挑战：不确定性抑制，模型犹豫表达不确定性和不确定性未对准，其中模型不准确地传达了不确定性。

为了应对这些挑战，我们提出了一个基于改进的数据收集框架和两阶段的培训管道。我们的框架采用了分裂和纠纷策略，根据原子主张来完善不确定性。然后，通过监督的微调（SFT）和直接偏好优化（DPO）将收集的数据用于训练中，以增强不确定性表达。数据集之后的三个长形教学的广泛实验表明，我们的方法显着提高了准确性，降低幻觉并保持响应的全面性。

如何安装

您可以使用以下命令为Logu安装环境：

conda create -n LoGU python==3.8
conda activate LoGU
pip install -r lf_requirements.txt
pip install -r vllm_requirements.txt

跑步

尝试以下命令测试我们关于BIOS，Longfact，Wildhallu的方法：

• 生成答案

 cd ./scripts
bash generate_vllm_responses.sh

• 计算事实准确性（FA）

bash eval_pipeline.sh

• 计算不确定的精度（UC）

bash generate_unc_answers.sh
bash factcheck_unc_answers.sh

培训数据

即将推出！

我们还在Fast Trail的HuggingFace模型中心上提供了一些不确定性表达模型：

模型	关联
Rhyang2021/unctaine_llama3_8b	拥抱面
Rhyang2021/unctaine_mistral_7b	拥抱面

如果您有任何疑问，请随时给我发送电子邮件或给我一个问题。