大型语言模型（LLM）如ChatGPT、Claude和Gemini虽然功能强大，但也存在一个共同的重大缺陷：经常产生幻觉，即虚构信息。这不仅令人尴尬，也阻碍了LLM的更广泛应用。甚至苹果公司也对自家AI系统如何应对这一问题表示担忧。为解决这一问题，研究人员开发了一种新的AI幻觉检测器，能够有效识别AI生成的虚假内容，为AI技术的进步和更安全可靠的应用奠定了基础。
这些幻觉导致了许多令人尴尬和耐人寻味的失误，它们也是 ChatGPT 等人工智能尚未更加实用的主要原因之一。我们曾经看到谷歌不得不修改其 AI 搜索概览，因为 AI 开始告诉人们吃石头是安全的，还说在披萨上涂胶水是安全的。甚至有律师使用 ChatGPT 帮助撰写法庭文件，结果因为聊天机器人虚构了文件中的引用而被罚款。
根据该论文，研究人员开发的新算法能够帮助辨别 AI 生成的答案在大约79% 的时间内是否准确。当然，这并不是一个完美的记录，但比目前其他主流方法高出了10%。
Gemini 和 ChatGPT 等聊天机器人可以很有用，但它们也很容易产生虚构的答案。这项研究是牛津大学计算机科学系的成员进行的。研究人员在论文中解释说，他们使用的方法相对简单。
首先，他们让聊天机器人对同一个提示进行多次回答，通常是五到十次。然后，他们计算出一个我们称之为语义熵的数值，这是答案的意义相似性或差异性的度量。如果模型对每个提示条目的回答都不同，那么语义熵分数会更高，表明 AI 可能是在虚构答案。然而，如果答案都相同或意义相似，语义熵分数就会较低，表明它提供的答案更一致且可能是真实的。这并不是一个百分之百准确的 AI 幻觉检测器，却是一个有趣的处理方法。
其他方法依赖于所谓的朴素熵，通常是检查答案的措辞是否不同，而不是其含义。因此，它不太可能像计算语义熵那样准确地发现幻觉，因为它没有关注句子中的词语背后的含义。
研究人员表示，该算法可以通过按钮添加到 ChatGPT 等聊天机器人中，让用户对他们的提示所得到的答案获得 “确定性评分”。直接内置 AI 幻觉检测器到聊天机器人中是诱人的，因此可以理解将这样的工具添加到各种聊天机器人中的用途。
这项基于语义熵的AI幻觉检测器，虽然并非完美无缺，但其79%的准确率以及比现有方法高出10%的优势，为解决AI幻觉问题提供了新的思路和方法。这项研究无疑将推动AI技术的进步，使AI系统更加可靠和可信赖。