AI最臭名昭著的Bug是什么?不是代碼崩潰,而是「幻覺」——模型自信地編造事實,讓你真假難辨。這個根本性挑戰,是阻礙我們完全信任AI的關鍵障礙。
大模型會有幻覺,這幾乎已經成為一個常識,讓每一個嚴肅使用大模型的人都不得不謹慎小心。OpenAI也指出:「ChatGPT也會產生幻覺。GPT-5的幻覺明顯更少,尤其是在執行推理時,但幻覺仍然會發生。幻覺仍然是所有大型語言模型面臨的一大根本挑戰。」
盡管現在學術界已經提出了各種各樣用來降低模型幻覺的方法,但目前尚未出現能徹底「根治」模型幻覺的良方。
那么,大模型究竟為什么會出現幻覺呢?今天,OpenAI罕見發表論文,系統性地揭示了幻覺的根源。
首先,定義幻覺。OpenAI給出的簡單定義是:「模型自信地生成不真實答案的情況。」
至于原因,簡單來說就是:標準的訓練和評估程序更傾向于對猜測進行獎勵,而不是在模型勇于承認不確定時給予獎勵。
當詢問他的生日時,它給出了三個不同的日期,同樣都是錯誤的。
在準確度方面,更早期的OpenAIo4-mini模型表現略好。然而,其錯誤率(即幻覺率)明顯較高。在不確定的情況下進行策略性猜測可以提高準確度,但也會增加錯誤和幻覺。
在對數十次評估的結果進行平均時,大多數基準測試都會剔除準確度指標,但這會導致對錯之間的錯誤二分法。
免責聲明:OpenAI罕見發論文:我們找到了AI幻覺的罪魁禍首文章轉發自互聯網,版權歸其所有。
文章內容不代表本站立場和任何投資暗示。加密貨幣市場極其波動,風險很高,可能不適合所有投資者。在投資加密貨幣之前,請確保自己充分了解市場和投資的風險,并考慮自己的財務狀況和風險承受能力。此外,請遵循您所在國家的法律法規,以及遵守交易所和錢包提供商的規定。對于任何因使用加密貨幣所造成的投資損失或其他損失,本站不承擔任何責任。
Copyright © 2021.Company 元宇宙YITB.COM All rights reserved.元宇宙YITB.COM