Meta AI 联合加州大学伯克利分校和纽约大学的研究人员，开发出一种名为思维偏好优化（TPO）的新方法，旨在显着提升大型语言模型（LLM）的响应质量。不同于传统方法仅关注最终答案，TPO 允许模型在生成答案前进行内部思考，从而产生更准确、连贯的回应。这项技术改进版的思维链（CoT）推理方法，通过优化和精简模型的内部思维过程，克服了以往CoT 方法准确性低和训练难度大的缺点，最终生成更高质量的答案，并在多个基准测试中表现优异。
与传统模型仅关注最终答案不同，TPO 方法允许模型在生成回应前进行内部思考，从而产生更加准确和连贯的回答。
这种新技术结合了改进版的思维链（Chain-of-Thought， CoT）推理方法。在训练过程中，该方法鼓励模型在回应前先进行“思考”，帮助其构建更为系统的内部思维过程。以往的直接CoT 提示有时会降低准确性，并且由于缺乏明确的思维步骤，训练过程较为困难。 TPO 通过允许模型优化和精简其思维过程，克服了这些局限性，并且在用户面前并不展示中间思维步骤。
在TPO 的流程中，首先提示大型语言模型生成多个思维过程，然后在形成最终回应之前，对这些输出进行抽样和评估。随后，一个评估模型将对输出进行评分，确定最优和最差的回应。通过将这些输出作为选择和拒绝对进行直接偏好优化（Direct Preference Optimization， DPO），这一迭代训练方法增强了模型生成更相关、高质量回应的能力，从而提高了整体效果。
在这个方法中，训练提示经过调整，鼓励模型在回应前进行内部思考。经过评估的最终回应由一个基于LLM 的评估模型进行评分，这使得模型能在不考虑隐性思维步骤的情况下，仅依据回应的有效性来提升质量。此外，TPO 利用直接偏好优化创建包含隐性思维的偏好与拒绝回应对，经过多次训练循环来进一步细化模型的内部过程。
研究结果显示，TPO 方法在多项基准测试中表现优异，超越了多种现有模型。这一方法不仅适用于逻辑和数学任务，也在创意领域如市场营销和健康等指令跟随任务中展现了潜力。
论文:https://arxiv.org/pdf/2410.10630
划重点:
TPO 技术提升了大型语言模型在生成回应前的思考能力，确保回应更加准确。
通过改进的思维链推理，模型能够优化和精简其内部思维过程，提升回应质量。
TPO 适用于多种领域，不仅限于逻辑和数学任务，还能应用于创意和健康等领域。
总而言之，TPO 方法为大型语言模型的性能提升提供了一种新思路，其在多个领域的应用前景广阔，值得进一步研究和探索。 论文链接方便读者深入了解其技术细节和实验结果。