大型語言模型（LLM）如ChatGPT、Claude和Gemini雖然功能強大，但也存在一個共同的重大缺陷：經常產生幻覺，即虛構訊息。這不僅令人尷尬，也阻礙了LLM的更廣泛應用。甚至蘋果公司也對自家AI系統如何應對這個問題表示擔憂。為解決這個問題，研究人員開發了一種新的AI幻覺偵測器，能夠有效辨識AI產生的虛假內容，為AI技術的進步和更安全可靠的應用奠定了基礎。
這些幻覺導致了許多令人尷尬和耐人尋味的失誤，它們也是ChatGPT 等人工智慧尚未更加實用的主要原因之一。我們曾經看到谷歌不得不修改其AI 搜尋概覽，因為AI 開始告訴人們吃石頭是安全的，還說在披薩上塗膠水是安全的。甚至有律師使用ChatGPT 幫忙撰寫法庭文件，結果因為聊天機器人虛構了文件中的引用而被罰款。
根據論文，研究人員開發的新演算法能夠幫助辨別AI 產生的答案在大約79% 的時間內是否準確。當然，這並不是一個完美的記錄，但比目前其他主流方法高出了10%。
Gemini 和ChatGPT 等聊天機器人可以很有用，但它們也很容易產生虛構的答案。這項研究是牛津大學電腦科學系的成員進行的。研究人員在論文中解釋說，他們使用的方法相對簡單。
首先，他們讓聊天機器人對同一個提示進行多次回答，通常是五到十次。然後，他們計算出一個我們稱為語義熵的數值，這是答案的意義相似性或差異性的測量。如果模型對每個提示條目的回答都不同，那麼語意熵分數會更高，表示AI 可能是在虛構答案。然而，如果答案都相同或意義相似，語義熵分數就會較低，表明它提供的答案更一致且可能是真實的。這並不是一個百分之百準確的AI 幻覺偵測器，卻是一個有趣的處理方法。
其他方法則依賴所謂的樸素熵，通常是檢查答案的措詞是否不同，而不是其意義。因此，它不太可能像計算語義熵那樣準確地發現幻覺，因為它沒有關注句子中的詞語背後的含義。
研究人員表示，該演算法可以透過按鈕添加到ChatGPT 等聊天機器人中，讓用戶對他們的提示所得到的答案獲得「確定性評分」。直接內建AI 幻覺偵測器到聊天機器人是誘人的，因此可以理解將這樣的工具添加到各種聊天機器人中的用途。
這項基於語意熵的AI幻覺偵測器，雖然並非完美無缺，但其79%的準確率以及比現有方法高出10%的優勢，為解決AI幻覺問題提供了新的思路和方法。這項研究無疑將推動AI技術的進步，使AI系統更加可靠和可信賴。