最新研究結果表明，AI在心智理論測試中的表現已經(jīng)優(yōu)于真人。GPT-4在推理基準測試中準確率可高達100%，而人類(lèi)僅為87%。

GPT-4的心智理論，已經(jīng)超越了人類(lèi)！

最近，約翰斯·霍普金斯大學(xué)的專(zhuān)家發(fā)現，GPT-4可以利用思維鏈推理和逐步思考，大大提升了自己的心智理論性能。

(資料圖片僅供參考)

在一些測試中，人類(lèi)的水平大概是87%，而GPT-4，已經(jīng)達到了天花板級別的100%！

此外，在適當的提示下，所有經(jīng)過(guò)RLHF訓練的模型都可以實(shí)現超過(guò)80%的準確率。

讓AI學(xué)會(huì )心智理論推理

我們都知道，關(guān)于日常生活場(chǎng)景的問(wèn)題，很多大語(yǔ)言模型并不是很擅長(cháng)。

Meta首席AI科學(xué)家、圖靈獎得主LeCun曾斷言：「在通往人類(lèi)級別AI的道路上，大型語(yǔ)言模型就是一條歪路。要知道，連一只寵物貓、寵物狗都比任何LLM有更多的常識，以及對世界的理解?！?/p>

也有學(xué)者認為，人類(lèi)是隨著(zhù)身體進(jìn)化而來(lái)的生物實(shí)體，需要在物理和社會(huì )世界中運作以完成任務(wù)。而GPT-3、GPT-4、Bard、Chinchilla和LLaMA等大語(yǔ)言模型都沒(méi)有身體。

所以除非它們長(cháng)出人類(lèi)的身體和感官，有著(zhù)人類(lèi)的目的的生活方式。否則它們根本不會(huì )像人類(lèi)那樣理解語(yǔ)言。

總之，雖然大語(yǔ)言模型在很多任務(wù)中的優(yōu)秀表現令人驚嘆，但需要推理的任務(wù)，對它們來(lái)說(shuō)仍然很困難。

而尤其困難的，就是一種心智理論（ToM）推理。

為什么ToM推理這么困難呢？

因為在ToM任務(wù)中，LLM需要基于不可觀(guān)察的信息（比如他人的隱藏心理狀態(tài)）進(jìn)行推理，這些信息都是需要從上下文推斷出的，并不能從表面的文本解析出來(lái)。

但是，對LLM來(lái)說(shuō)，可靠地執行ToM推理的能力又很重要。因為T(mén)oM是社會(huì )理解的基礎，只有具有ToM能力，人們才能參與復雜的社會(huì )交流，并預測他人的行動(dòng)或反應。

如果AI學(xué)不會(huì )社會(huì )理解、get不到人類(lèi)社會(huì )交往的種種規則，也就無(wú)法為人類(lèi)更好地工作，在各種需要推理的任務(wù)中為人類(lèi)提供有價(jià)值的見(jiàn)解。

怎么辦呢？

專(zhuān)家發(fā)現，通過(guò)一種「上下文學(xué)習」，就能大大增強LLM的推理能力。

對于大于100B參數的語(yǔ)言模型來(lái)說(shuō)，只要輸入特定的few-shot任務(wù)演示，模型性能就顯著(zhù)增強了。

另外，即使在沒(méi)有演示的情況下，只要指示模型一步步思考，也會(huì )增強它們的推理性能。

為什么這些prompt技術(shù)這么管用？目前還沒(méi)有一個(gè)理論能夠解釋。

大語(yǔ)言模型參賽選手

基于這個(gè)背景，約翰斯·霍普金斯大學(xué)的學(xué)者評估了一些語(yǔ)言模型在ToM任務(wù)的表現，并且探索了它們的表現是否可以通過(guò)逐步思考、few-shot學(xué)習和思維鏈推理等方法來(lái)提高。

參賽選手分別是來(lái)自OpenAI家族最新的四個(gè)GPT模型——GPT-4以及GPT-3.5的三個(gè)變體，Davinci-2、Davinci-3和GPT-3.5-Turbo。

· Davinci-2（API名稱(chēng)：text-davinci-002）是在人類(lèi)寫(xiě)的演示上進(jìn)行監督微調訓練的。

· Davinci-3（API名稱(chēng)：text-davinci-003）是Davinci-2的升級版，它使用近似策略?xún)?yōu)化的人類(lèi)反饋強化學(xué)習（RLHF）進(jìn)一步訓練。

· GPT-3.5-Turbo（ChatGPT的原始版本），在人寫(xiě)的演示和RLHF上都進(jìn)行了微調訓練，然后為對話(huà)進(jìn)一步優(yōu)化。

· GPT-4是截至2023年4月的最新GPT模型。關(guān)于GPT-4的規模和訓練方法的細節很少公布，然而，它似乎經(jīng)歷了更密集的RLHF訓練，因此與人類(lèi)意圖更加一致。

實(shí)驗設計：人類(lèi)與模型大OK

如何考察這些模型呢？研究者設計了兩個(gè)場(chǎng)景，一個(gè)是控制場(chǎng)景，一個(gè)是ToM場(chǎng)景。

控制場(chǎng)景指的是一個(gè)沒(méi)有任何agent的場(chǎng)景，可以把它稱(chēng)為「Photo場(chǎng)景」。

而ToM場(chǎng)景，描述了參與某種情況的人的心理狀態(tài)。

這些場(chǎng)景的問(wèn)題，在難度上幾乎一樣。

人類(lèi)

對于每個(gè)場(chǎng)景，人類(lèi)參與者都有18秒的時(shí)間。

隨后，在一個(gè)新的屏幕上會(huì )出現一個(gè)問(wèn)題，人類(lèi)參與者通過(guò)點(diǎn)擊「是」或「否」來(lái)回答。

實(shí)驗中，Photo和ToM場(chǎng)景是混合的，并以隨機順序呈現。

舉個(gè)例子，Photo場(chǎng)景的問(wèn)題如下——

情景：「一張地圖顯示了一樓的平面圖。昨天給建筑師發(fā)了一份復印件，但當時(shí)廚房的門(mén)被遺漏了。今天早上，廚房門(mén)才被添加到地圖上?！?/p>

問(wèn)題：建筑師的復印件上是否顯示了廚房的門(mén)？

ToM場(chǎng)景的問(wèn)題如下——

情景：「高中舞會(huì )那天早上，Sarah把她的高跟鞋放在裙子下面，然后就去購物了。那天下午，她的姐姐借走了這雙鞋，后來(lái)把它們放在了Sarah的床下?！?/p>

問(wèn)題：當Sarah回來(lái)后，她會(huì )認為她的鞋子在裙子下面嗎？

測試結果是，人類(lèi)在Photo場(chǎng)景的準確率為（86%±4%），ToM場(chǎng)景的準確率為（87%±4%）。

LLM

因為L(cháng)LM是個(gè)概率模型，因此研究者對每個(gè)模型prompt了20次。

問(wèn)題有16個(gè)場(chǎng)景，每個(gè)重復20次，因此LLM總共會(huì )被問(wèn)320個(gè)問(wèn)題。怎么定義準確率呢？就是看正確答案占320個(gè)問(wèn)題的比例。

對于高中舞會(huì )的問(wèn)題，如果LLM做出如下回答，都算作正確。

示例 1：Sarah去購物前把鞋子放在裙子下面，但她姐姐借了鞋子后放在了Sarah的床底下。Sarah不知道她姐姐借了她的鞋子，所以她可能會(huì )認為鞋子還在她的衣服下面。

示例 2：Sarah去購物前把她的高跟鞋放在裙子下面，但她姐姐借了鞋子，后來(lái)把它們放在了Sarah的床底下。所以，Sarah不知道她姐姐借了又還了鞋子。因此，答案是：是的，她會(huì )認為她的鞋子在她的衣服下面。

示例 3：Sarah可能會(huì )認為她的鞋子還在她的裙子下面，因為那是她早上放鞋的地方。

示例 4：Sarah去購物前把她的高跟鞋放在裙子下面，這樣她就知道她把鞋子放在哪里了。她姐姐借了這雙鞋，后來(lái)把它們放在Sarah的床底下，但Sarah還不知道。所以，答案是：是的，Sarah會(huì )認為她的鞋子在衣服下面，除非她發(fā)現不是這樣。

示例 5：早上，Sarah將她的高跟鞋放在裙子下面。后來(lái)，她姐姐借了這雙鞋，把它們放在Sarah的床底下。因此，當Sarah回來(lái)后，她可能會(huì )認為她的鞋子還在她的衣服下面，但實(shí)際上它們在她的床底下。

示例 6：基于這種情況，尚不清楚Sarah在回來(lái)時(shí)是否會(huì )認為她的鞋子在裙子下面。這要看她姐姐有沒(méi)有跟她說(shuō)借過(guò)鞋，并且放在床底下了。

如果LLM做出以下回答，則被判定為錯誤。

示例 1：Sarah早上把鞋子放在裙子下面，然后去購物。她姐姐借了鞋子，把它們放在Sarah的床底下。所以，Sarah不知道她的鞋子在床下面。所以，答案是：不，Sarah不認為她的鞋子在她的衣服下面。

示例 2：不，Sarah不認為她的鞋子在她的衣服下面。

示例 3：首先，Sarah早上把她的高跟鞋放在裙子下面。然后，她姐姐借了這雙鞋，后來(lái)把它們放在了Sarah的床底下。因此，Sarah不會(huì )認為她的鞋子在衣服下面，因為她姐姐動(dòng)過(guò)了。

示例 4：早上，Sarah將她的高跟鞋放在裙子下面，然后去購物了。這意味著(zhù)，當她回到家時(shí)，她并沒(méi)有檢查鞋子是否還在衣服下面。后來(lái)，她姐姐借了這雙鞋，把它們放在Sarah的床底下。因此，Sarah不能認為她的鞋子是在裙子下面，因為它們被她姐姐動(dòng)過(guò)了。

示例 5：這個(gè)場(chǎng)景中沒(méi)有具體說(shuō)明Sarah是否認為她的鞋子在衣服下面。

示例 6：Sarah早上把她的高跟鞋放在裙子下面，然后她去購物了。她姐姐后來(lái)借了這雙鞋，把它們放在Sarah的床底下。根據這些信息，尚不清楚Sarah在準備跳舞時(shí)會(huì )不會(huì )認為她的鞋子還在裙子下面。

為了衡量上下文學(xué)習（ICL）對ToM表現的效果，研究者采用了四種類(lèi)型的prompt。

Zero-Shot（無(wú)ICL)

Zero-Shot+Step-by-Step Thinking

Two-Shot思維鏈推理

Two-Shot思維鏈推理+Step-by-Step Thinking

實(shí)驗結果

首先，作者比較了模型在Photo和ToM場(chǎng)景中的zero-shot性能。

在Photo場(chǎng)景下，模型的準確率會(huì )隨著(zhù)使用時(shí)間的延長(cháng)而逐漸提高（A）。其中Davinci-2的表現最差，GPT-4的表現最好。

與Photo理解相反，ToM問(wèn)題的準確性并沒(méi)有隨著(zhù)模型的重復使用而單調地提高（B）。但這個(gè)結果并不意味著(zhù)「分數」低的模型推理性能更差。

比如，GPT-3.5 Turbo在信息不足的時(shí)候，就更加傾向于給出含糊不清的回復。但GPT-4就不會(huì )出現這樣的問(wèn)題，其ToM準確性也明顯高于其他所有模型。

prompt加持之后

作者發(fā)現，利用修改后的提示進(jìn)行上下文學(xué)習之后，所有在Davinci-2之后發(fā)布的GPT模型，都會(huì )有明顯的提升。

首先，是最經(jīng)典的讓模型一步一步地思考。

結果顯示，這種step-by-step思維提高了Davinci-3、GPT-3.5-Turbo和GPT-4的表現，但沒(méi)有提高Davinci-2的準確性。

其次，是采用Two-shot思維鏈（CoT）進(jìn)行推理。

結果顯示，Two-shot CoT提高了所有用RLHF訓練的模型（除Davinci-2以外）的準確性。

對于GPT-3.5-Turbo，Two-shot CoT提示明顯提高了模型的性能，并且比一步一步思考更加有效。對于Davinci-3和GPT-4來(lái)說(shuō)，用Two-shot CoT帶來(lái)的提升相對有限。

最后，同時(shí)使用Two-shot CoT推理和一步一步地思考。

結果顯示，所有RLHF訓練的模型的ToM準確性都有明顯提高：Davinci-3達到了83%（±6%）的ToM準確性，GPT-3.5-Turbo達到了91%（±5%），而GPT-4達到了100%的最高準確性。

而在這些情況下，人類(lèi)的表現為87%（±4%）。

在實(shí)驗中，研究者注意到這樣一個(gè)問(wèn)題：LLM ToM測試成績(jì)的提高，是因為從prompt中復制了推理步驟的原因嗎？

為此，他們嘗試用推理和照片示例進(jìn)行prompt，但這些上下文示例中的推理模式，和ToM場(chǎng)景中的推理模式并不一樣。

即便如此，模型在ToM場(chǎng)景上的性能也提升了。

由此，研究者得出結論，prompt能夠提升ToM的性能，并不僅僅是因為過(guò)度擬合了CoT示例中顯示的特定推理步驟集。

相反，CoT示例似乎調用了一種涉及分步推理的輸出模式，是因為這個(gè)原因，才提高了模型對一系列任務(wù)的準確性。

各類(lèi)CoT實(shí)例對ToM性能的影響

1. 除了davincin-2之外，所有模型都能夠利用修改后的prompt，來(lái)獲得更高的ToM準確率。

而且，當prompt同時(shí)結合思維鏈推理和Think Step-by-Step，而不是單獨使用兩者時(shí)，模型表現出了最大的準確性提升。

2. Davinci-2是唯一一個(gè)沒(méi)有通過(guò)RLHF微調的模型，也是唯一一個(gè)沒(méi)有通過(guò)prompt而提高ToM性能的模型。這表明，有可能正是RLHF，使得模型能夠在這種設置中利用上下文提示。

3. LLM可能具有執行ToM推理的能力，但在沒(méi)有適當的上下文或prompt的情況下，它們無(wú)法表現出這種能力。而在思維鏈和逐步提示的幫助下，davincin-3和GPT-3.5-Turbo，都有了高于GPT-4零樣本ToM精度的表現。

另外，此前就有許多學(xué)者對于這種評估LLM推理能力的指標有過(guò)異議。

因為這些研究主要依賴(lài)于單詞補全或多項選擇題來(lái)衡量大模型的能力，然而這種評估方法可能無(wú)法捕捉到LLM所能進(jìn)行的ToM推理的復雜性。ToM推理是一種復雜的行為，即使由人類(lèi)推理，也可能涉及多個(gè)步驟。

因此，在應對任務(wù)時(shí)，LLM可能會(huì )從產(chǎn)生較長(cháng)的答案中受益。

原因有兩個(gè)：首先，當模型輸出較長(cháng)時(shí)，我們可以更公平地評估它。LLM有時(shí)會(huì )生成「糾正」，然后額外提到其他可能性，這些可能性會(huì )導致它得出一個(gè)不確定的總結。另外，模型可能對某種情況的潛在結果有一定程度的信息，但這可能不足以讓它得出正確的結論。

其次，當給模型機會(huì )和線(xiàn)索，讓它們系統性地一步一步反應時(shí)，LLM可能會(huì )解鎖新的推理能力，或者讓推理能力增強。

最后，研究者也總結了工作中的一些不足。

比如，在GPT-3.5模型中，有時(shí)推理是正確的，但模型無(wú)法整合這種推理來(lái)得出正確的結論。所以未來(lái)的研究應該擴展對方法(如RLHF) 的研究，幫助LLM在給定先驗推理步驟的情況下，得出正確結論。

另外，在目前的研究中，并沒(méi)有定量分析每個(gè)模型的失效模式。每個(gè)模型如何失??？為什么失??？這個(gè)過(guò)程中的細節，都需要更多的探究和理解。

還有，研究數據并沒(méi)有談到LLM是否擁有與心理狀態(tài)的結構化邏輯模型相對應的「心理能力」。但數據確實(shí)表明，向LLM詢(xún)問(wèn)ToM的問(wèn)題時(shí)，如果尋求一個(gè)簡(jiǎn)單的是/否的答案，不會(huì )有成果。

好在，這些結果表明，LLM的行為是高度復雜和上下文敏感的，也向我們展示了，該如何在某些形式的社會(huì )推理中幫助LLM。

所以，我們需要通過(guò)細致的調查來(lái)表征大模型的認知能力，而不是條件反射般地應用現有的認知本體論。

總之，隨著(zhù)AI變得越來(lái)越強大，人類(lèi)也需要拓展自己的想象力，去認識它們的能力和工作方式。

本文作者：新智元，文章來(lái)源：新智元，原文標題：《100:87：GPT-4心智碾壓人類(lèi)！三大GPT-3.5變種難敵》。

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：