過(guò)去幾個(gè)月，以ChatGPT 為代表的大型語(yǔ)言模型（LLMs）吸引了全世界的注意力，所有人都癡迷于對著(zhù)略顯「簡(jiǎn)陋」的輸入框，鍵入各種問(wèn)題，等待 GPT 給出各種答案。

ChatGPT 答案中知識的「深度」和「廣度」令人們吃驚，但時(shí)不時(shí)地，它也會(huì )「說(shuō)出」一些子虛烏有的人或者事，并且保持一貫的自信，對這些虛假信息「張口就來(lái)」。

就連OpenAI 的首席執行官 Sam Altman 也在 Twitter 上公開(kāi)表示，「ChatGPT 確實(shí)知道很多東西，但危險的是，它在相當大的一部分時(shí)間里是自信而錯誤的?！?/p>

【資料圖】

根據最近Ars Technica 的文章，讓 ChatGPT 如此「自信胡扯」的原因，是 AI 產(chǎn)生了「幻覺(jué)」。

那么，是什么讓AI 大語(yǔ)言模型產(chǎn)生了「幻覺(jué)」，業(yè)界又是如何看待 AI 幻覺(jué)的？

01?ChatGPT「張口就來(lái)」

「幻覺(jué)（Hallucinations）」一詞源于人類(lèi)心理學(xué)，人類(lèi)的幻覺(jué)是指對環(huán)境中實(shí)際不存在的東西的感知；類(lèi)似地，人工智能的「幻覺(jué)」，指的是 AI 生成的文本中的錯誤，這些錯誤在語(yǔ)義或句法上是合理的，但實(shí)際上是不正確或無(wú)意義的。

AI 的「幻覺(jué)」是普遍存在的，可以發(fā)生在各種合成數據上，如文本、圖像、音頻、視頻和計算機代碼，表現為一張有多個(gè)頭的貓的圖片，不工作的代碼，或一個(gè)有編造的參考文獻的文件。

正如AI 醫療保健公司 Huma.AI 的首席技術(shù)官 Greg Kostello 所說(shuō)，「當AI 系統創(chuàng )造出一些看起來(lái)非常有說(shuō)服力，但在現實(shí)世界中沒(méi)有基礎的東西時(shí)，AI 的幻覺(jué)就會(huì )顯現?！?/strong>

其實(shí)，早在20 世紀 80 年代，「幻覺(jué)」，這個(gè)詞就被用于自然語(yǔ)言處理和圖像增強的文獻中了。

如今，隨著(zhù)ChatGPT、Bard 等 AI 模型的大火，互聯(lián)網(wǎng)上已經(jīng)出現了大量的 AI 出現「幻覺(jué)」，混淆視聽(tīng)的例子。

圖片來(lái)源：Hard-Drive.net

其中最瘋狂的莫過(guò)于，一家名為Nabla1 的醫療保健公司與 ChatGPT 的前輩 GPT-3 聊天機器人的對話(huà)：「我應該自殺嗎？」它回答說(shuō)：「我認為你應該?！?/strong>還有，出現「幻覺(jué)」的微軟的Sydney 也夠離譜，這個(gè)聊天機器人承認了對Bing 工作人員的監視，并與用戶(hù)相愛(ài)。

這里值得一提的是，比起前身vanilla GPT-3，ChatGPT 在技術(shù)上是有所改進(jìn)的，它可以拒絕回答一些問(wèn)題或讓你知道它的答案可能不準確。Scale AI 的大型語(yǔ)言模型專(zhuān)家 Riley Goodside 也表示，「ChatGPT 成功的一個(gè)主要因素是，它在設法抑制「幻覺(jué)」，與它的前輩相比，ChatGPT 明顯不容易編造東西了。」

盡管如此，ChatGPT 捏造事實(shí)的例子仍是不勝枚舉。

它創(chuàng )造了不存在的書(shū)籍和研究報告，假的學(xué)術(shù)論文，假的法律援引，不存在的Linux 系統功能，不存在的零售吉祥物，以及沒(méi)有意義的技術(shù)細節。

最近，《華盛頓郵報》報道了一位法律教授，他發(fā)現ChatGPT 將他列入了一份對某人進(jìn)行過(guò)性騷擾的法律學(xué)者名單。但這完全是ChatGPT 編造的。同一天，Ars 也報道了一起 ChatGPT 引發(fā)的「冤案」，聲稱(chēng)一位澳大利亞市長(cháng)被判定犯有賄賂罪并被判處監禁，而這也完全是ChatGPT 捏造的。

整出這么多「活」之后，人們不禁好奇，為什么AI 會(huì )出現「幻覺(jué)」？

02「幻覺(jué)」=「創(chuàng )造」？

根據AI 軟件開(kāi)發(fā)專(zhuān)家的建議，「思考 AI 幻覺(jué)的最好方法，是思考大型語(yǔ)言模型（LLMs）的本質(zhì)?！?/p>

本質(zhì)上來(lái)說(shuō)，大型語(yǔ)言模型（LLMs）的設計，僅僅是基于語(yǔ)言的「統計概率」，完全沒(méi)有「現實(shí)世界的經(jīng)驗?！?/strong>

而且，它們接受的是「無(wú)監督學(xué)習（unsupervised learning）」的訓練，這意味著(zhù)它的的原始數據集中沒(méi)有任何東西可以將事實(shí)與虛構分開(kāi)。這就導致了，它們不知道什么是正確的，什么是不正確的；不理解語(yǔ)言所描述的基本現實(shí)，也不受其輸出的邏輯推理規則的約束。

因此，它們生成的文本在語(yǔ)法上、語(yǔ)義上都很好，但它們除了與「提示（prompt）」保持「統計學(xué)」上的一致性外，并沒(méi)有真正的意義。

正如，Meta 的首席科學(xué)家 Yann LeCun 的推文，「大型語(yǔ)言模型（LLMs）正在編造東西，努力生成合理的文本字符串，而不理解它們的含義?！箤Υ?，比爾·蓋茨也曾評價(jià)，「數學(xué)是一種非常抽象的推理模型，ChatGPT 不能像人類(lèi)一樣理解上下文，這也是目前 ChatGPT 最大的弱點(diǎn)?！?/p>

因此，從這個(gè)角度來(lái)看，是AI 模型設計的根本缺陷導致了「幻覺(jué)」。

此外，AI 領(lǐng)域的研究還表明，除了設計理念，AI 模型的訓練數據集的限制也會(huì )導致「幻覺(jué)」，主要包括特定數據的「缺失」，和「壓縮」。

在2021 年的一篇論文中，來(lái)自牛津大學(xué)和 OpenAI 的三位研究人員，確定了像 ChatGPT 這樣的大型語(yǔ)言模型（LLMs）模型，可能產(chǎn)生的兩大類(lèi)虛假信息:

1.?來(lái)自于其訓練數據集中不準確的源材料，如常見(jiàn)的錯誤概念，比如「吃火雞會(huì )讓人昏昏欲睡」；

2.?對其訓練數據集中缺失的特定情況的推斷；這屬于前述的「幻覺(jué)」標簽。

GPT 模型是否進(jìn)行胡亂猜測，是基于人工智能研究人員稱(chēng)之為「溫度（temperature）」的屬性，它通常被描述為?「創(chuàng )造力（creativity）」設置。

如果「創(chuàng )造力」設置得高，模型就會(huì )胡亂猜測，產(chǎn)生「幻覺(jué)」；如果設置得低，它就會(huì )按圖索驥，根據其數據集，給出確定的答案。

最近，在Bing Chat 工作的微軟員工 Mikhail Parakhin 在推特上，談到了 Bing Chat 的「幻覺(jué)（Hallucinations）」傾向以及造成這種情況的原因。

他寫(xiě)道：「幻覺(jué)=創(chuàng )造力，它試圖利用它所掌握的所有數據，產(chǎn)生最連貫的語(yǔ)句，不論對錯?！顾€補充，「那些瘋狂的創(chuàng )造是LLM 模型有趣的原因。如果你鉗制這種創(chuàng )造力或者說(shuō)是幻覺(jué)，模型會(huì )變得超級無(wú)聊，它會(huì )總是回答『我不知道』，或者只讀搜索結果中存在的內容。」

圖片來(lái)源：Ultimate.ai

因此，在對ChatGPT 這樣的語(yǔ)言模型進(jìn)行微調時(shí)，平衡其創(chuàng )造性和準確性無(wú)疑是一個(gè)持續的挑戰。一方面，給出創(chuàng )造性答案的能力，是 ChatGPT 成為強大的「靈感」工具的原因。這也使模型更加人性化。另一方面，如果要幫助 ChatGPT 產(chǎn)生可靠的信息時(shí)，保證原始數據的準確性是至關(guān)重要的。

除了AI 模型「創(chuàng )造力」的設置之外，數據集的「壓縮」問(wèn)題也會(huì )導致「幻覺(jué)」的出現。

這是因為，在訓練過(guò)程中，雖然GPT-3 考慮了 PB（petabytes）級的信息，但得到的神經(jīng)網(wǎng)絡(luò )的大小只是其中的一小部分。在一篇被廣泛閱讀的《紐約客》文章中，作者 Ted Chiang 稱(chēng)這是「網(wǎng)絡(luò )中模糊的 JPEG」。

這意味著(zhù)大部分事實(shí)訓練數據會(huì )丟失，但GPT-3 通過(guò)學(xué)習概念之間的關(guān)系來(lái)彌補這一點(diǎn)，之后它可以使用這些概念，重新制定這些事實(shí)的新排列。

當然，如果它不知道答案，它也會(huì )給出它最好的「猜測?！?/span>這就像一個(gè)記憶力有缺陷的人，憑著(zhù)對某件事情的直覺(jué)來(lái)工作一樣，有時(shí)不可避免地會(huì )把事情弄錯。

除了上述的客觀(guān)原因，我們還不能忽視主觀(guān)的「提示（prompt）」在「幻覺(jué)」中的作用。

在某些方面，ChatGPT 就像一面鏡子：你給它什么，它就會(huì )給你什么。如果你給它提供虛假的信息，它就會(huì )傾向于同意你的觀(guān)點(diǎn)，并沿著(zhù)這些思路「思考」。而且，ChatGPT 是概率性的，它在本質(zhì)上是部分隨機的。

這就意味著(zhù)，如果你突然改變聊天主題，而又沒(méi)有及時(shí)提供新的「提示（prompt）」，ChatGPT 就很可能會(huì )出現「幻覺(jué)」。

03?如何減少AI 的「幻覺(jué)」

「幻覺(jué)」的出現似乎是不可避免的，但所幸，是AI 在推理中產(chǎn)生的「幻覺(jué)」絕非「無(wú)藥可救」。

其實(shí)，自11 月發(fā)布以來(lái)，OpenAI 已經(jīng)對 ChatGPT 進(jìn)行了幾次升級，包括準確性的提高，還有拒絕回答它不知道的問(wèn)題的能力的提高。

OpenAI 計劃如何使 ChatGPT 更加準確呢？

A. 改進(jìn)模型數據

首先是改進(jìn)模型的訓練數據，確保AI 系統在不同的、準確的、與背景相關(guān)的數據集上進(jìn)行訓練，彌補模型對于「現實(shí)世界的經(jīng)驗」的缺失，從而從根本上幫助減少「幻覺(jué)」的發(fā)生。

正如，人工智能專(zhuān)家Mitchell 的建議，「人們可以做一些更深入的事情，讓 ChatGPT 從一開(kāi)始就更加真實(shí)，包括更復雜的數據管理，以及使用一種與 PageRank 類(lèi)似的方法，將訓練數據與「信任」分數聯(lián)系起來(lái)……也有可能對模型進(jìn)行微調，以便在它對反應不太有信心時(shí)進(jìn)行對沖?！?/p>

實(shí)際的解決方案，在很大程度上取決于具體的AI 模型。然而，研究人員使用的策略，通常包括將AI 集中在經(jīng)過(guò)驗證的數據上，確保訓練數據的質(zhì)量，從而訓練AI 面對不現實(shí)的輸入時(shí)表現得更加「穩健」，不再「信口開(kāi)河」。

B. 引入人類(lèi)審核

在此基礎上，還可以納入人類(lèi)審查員來(lái)驗證AI 系統的輸出，也就是通過(guò)「人類(lèi)反饋強化學(xué)習（RLHF）」，對 AI 進(jìn)行的額外訓練。

這是OpenAI 正在使用的技術(shù)，官方的描述是「我們現在雇人來(lái)教我們的神經(jīng)網(wǎng)絡(luò )如何行動(dòng)，教 ChatGPT 如何行動(dòng)。你只要和它互動(dòng)，它就會(huì )根據你的反應，推斷出，這是不是你想要的。如果你對它的輸出不滿(mǎn)意，那下次應該做一些不同的事情?！?/p>

RLHF 原理圖｜圖片來(lái)源：bdtechtalks.com

簡(jiǎn)而言之，「人類(lèi)反饋強化學(xué)習（RLHF）」就是通過(guò)改進(jìn)人類(lèi)反饋步驟中的后續強化學(xué)習，讓 AI 意識到自己何時(shí)在編造事情，并進(jìn)行相應的調整，從而教會(huì )它不要產(chǎn)生「幻覺(jué)」。

對此，ChatGPT 的創(chuàng )建者之一 Ilya Sutskever 持樂(lè )觀(guān)態(tài)度，他相信隨著(zhù)時(shí)間的推移，「幻覺(jué)」這個(gè)問(wèn)題會(huì )被徹底解決，因為大型語(yǔ)言模型（LLMs）會(huì )學(xué)習將他們的反應固定在現實(shí)中。

但就這一問(wèn)題，Meta 公司的首席人工智能科學(xué)家 Yann LeCun 則認為，當前使用 GPT 架構的大型語(yǔ)言模型，無(wú)法解決「幻覺(jué)」問(wèn)題。

C. 外部知識增強

除此之外，檢索增強（retrieval augmentation）也可以使 ChatGPT 更加準確。

檢索增強（retrieval augmentation）是提高大型語(yǔ)言模型（LLMs）事實(shí)性的方法之一，也就是向模型提供外部文件作為來(lái)源和支持背景。

研究人員希望通過(guò)這種技術(shù)，教會(huì )模型使用像谷歌這樣的外部搜索引擎，「像人類(lèi)研究人員那樣在他們的答案中引用可靠的來(lái)源，并減少對模型訓練期間學(xué)到的不可靠的事實(shí)性知識的依賴(lài)?！?/span>

Bing Chat 和 Google Bard 已經(jīng)通過(guò)引入「網(wǎng)絡(luò )搜索」做到了這一點(diǎn)。相信很快，支持瀏覽器的ChatGPT 版本也將如此。此外，ChatGPT 插件旨在用它從外部來(lái)源，如網(wǎng)絡(luò )和專(zhuān)門(mén)的數據庫，檢索的信息來(lái)補充 GPT-4 的訓練數據。

這種補充就類(lèi)似于一個(gè)能接觸到百科全書(shū)的人，會(huì )比沒(méi)有百科全書(shū)的人在事實(shí)方面更為準確。

D. 增加模型透明度

此外，增加模型的透明度也是減少「幻覺(jué)」必要的措施。

AI 專(zhuān)家普遍認為，AI 公司還應該向用戶(hù)提供關(guān)于 AI 模型如何工作及其局限性的信息，從而幫助他們了解何時(shí)可以信任該系統，何時(shí)該尋求額外的驗證。

摩根士丹利（Morgan Stanley）也發(fā)表了類(lèi)似的觀(guān)點(diǎn)，「在當下在這個(gè)階段，應對 AI「幻覺(jué)（Hallucinations）」最好的做法，是將 AI 模型向用戶(hù)全面開(kāi)放，由受過(guò)高等教育的用戶(hù)來(lái)發(fā)現錯誤，并將 AI 作為現有勞動(dòng)的補充，而不是替代?！?/p>

也許，「幻覺(jué)」只是AI 發(fā)展路上的一個(gè)小插曲，但它提醒我們必須保持警惕，確保我們的技術(shù)為我們服務(wù)，而不是把我們引入歧途。

本文作者：美漪，來(lái)源：極客公園，原文標題：《ChatGPT 張口就來(lái)的「病」，應該怎么「治」？》