大模型天花板GPT-4，它是不是……變笨了？

(資料圖片僅供參考)

先是少數用戶(hù)提出質(zhì)疑，隨后大量網(wǎng)友表示自己也注意到了，還貼出不少證據。

有人反饋，把GPT-4的3小時(shí)25條對話(huà)額度一口氣用完了，都沒(méi)解決自己的代碼問(wèn)題。

無(wú)奈切換到GPT-3.5，反倒解決了。

總結下大家的反饋，最主要的幾種表現有：

以前GPT-4能寫(xiě)對的代碼，現在滿(mǎn)是Bug

回答問(wèn)題的深度和分析變少了

響應速度比以前快了

這就引起不少人懷疑，OpenAI是不是為了節省成本，開(kāi)始偷工減料？

兩個(gè)月前GPT-4是世界上最偉大的寫(xiě)作助手，幾周前它開(kāi)始變得平庸。我懷疑他們削減了算力或者把它變得沒(méi)那么智能。

這就不免讓人想起微軟新必應“出道即巔峰”，后來(lái)慘遭“前額葉切除手術(shù)”能力變差的事情……

網(wǎng)友們相互交流自己的遭遇后，“幾周之前開(kāi)始變差”，成了大家的共識。

一場(chǎng)輿論風(fēng)暴同時(shí)在Hacker News、Reddit和Twitter等技術(shù)社區形成。

這下官方也坐不住了。

OpenAI開(kāi)發(fā)者推廣大使Logan Kilpatrick，出面回復了一位網(wǎng)友的質(zhì)疑：

API 不會(huì )在沒(méi)有我們通知您的情況下更改。那里的模型處于靜止狀態(tài)。

不放心的網(wǎng)友繼續追問(wèn)確認“就是說(shuō)GPT-4自從3月14日發(fā)布以來(lái)都是靜態(tài)的對吧？”，也得到了Logan的肯定回答。

“我注意到對于某些提示詞表現不一致，只是由于大模型本身的不穩定性嗎？”，也得到了“Yes”的回復。

但是截至目前，針對網(wǎng)頁(yè)版GPT-4是否被降級過(guò)的兩條追問(wèn)都沒(méi)有得到回答，并且Logan在這段時(shí)間有發(fā)布別的內容。

那么事情究竟如何，不如自己上手測試一波。

對于網(wǎng)友普遍提到GPT-4寫(xiě)代碼水平變差，我們做了個(gè)簡(jiǎn)單實(shí)驗。

實(shí)測GPT-4“煉丹”本領(lǐng)下降了嗎？

3月底，我們曾實(shí)驗過(guò)讓GPT-4“煉丹”，用Python寫(xiě)一個(gè)多層感知機來(lái)實(shí)現異或門(mén)。

△ShareGPT截圖，界面稍有不同

讓GPT-4改用numpy不用框架后，第一次給出的結果不對。

在修改兩次代碼后，運行得到了正確結果。第一次修改隱藏神經(jīng)元數量，第二次把激活函數從sigmoid修改成tanh。

6月2日，我們再次嘗試讓GPT-4完成這個(gè)任務(wù)，但換成了中文提示詞。

這回GPT-4第一次就沒(méi)有使用框架，但給的代碼仍然不對。

后續只修改一次就得到正確結果，而且換成了力大磚飛的思路，直接增加訓練epoch數和學(xué)習率。

回答的文字部分質(zhì)量也未觀(guān)察到明顯下降，但響應速度感覺(jué)確實(shí)有變快。

由于時(shí)間有限，我們只進(jìn)行了這一個(gè)實(shí)驗，且由于A(yíng)I本身的隨機性，也并不能否定網(wǎng)友的觀(guān)察。

最早4月19日就有人反饋

我們在OpenAI官方Discord頻道中搜索，發(fā)現從4月下旬開(kāi)始，就不時(shí)有零星用戶(hù)反饋GPT-4變差了。

但這些反饋并未引發(fā)大范圍討論，也沒(méi)有得到官方正式回應。

5月31日，Hacker News和Twitter同天開(kāi)始大量有網(wǎng)友討論這個(gè)問(wèn)題，成為整個(gè)事件的關(guān)鍵節點(diǎn)。

HackerNews一位網(wǎng)友指出，在GPT-4的頭像還是黑色的時(shí)候更強，現在紫色頭像版在修改代碼時(shí)會(huì )丟掉幾行。

在Twitter上較早提出這個(gè)問(wèn)題的，是HyperWrite（一款基于GPT API開(kāi)發(fā)的寫(xiě)作工具）的CEO，Matt Shumer。

但這條推文卻引發(fā)了許多網(wǎng)友的共鳴，OpenAI員工回復的推文也正是針對這條。

不過(guò)這些回應并沒(méi)讓大家滿(mǎn)意，反而討論的范圍越來(lái)越大。

比如Reddit上一篇帖子提到，原來(lái)能回答代碼問(wèn)題的GPT-4，現在連哪些是代碼哪些是問(wèn)題都分不出來(lái)了。

在其他網(wǎng)友的追問(wèn)下，帖子作者對問(wèn)題出現的過(guò)程進(jìn)行了概述，還附上了和GPT的聊天記錄。

對于OpenAI聲稱(chēng)模型從三月就沒(méi)有改動(dòng)過(guò)，公開(kāi)層面確實(shí)沒(méi)有相關(guān)記錄。

ChatGPT的更新日志中，分別在1月9日、1月30日、2月13日提到了對模型本身的更新，涉及改進(jìn)事實(shí)準確性和數學(xué)能力等。

但自從3月14日GPT-4發(fā)布之后就沒(méi)提到模型更新了，只有網(wǎng)頁(yè)APP功能調整和添加聯(lián)網(wǎng)模式、插件模式、蘋(píng)果APP等方面的變化。

假設真如OpenAI所說(shuō)，GPT-4模型本身的能力沒(méi)有變化，那么這么多人都感覺(jué)它表現變差是怎么回事呢？

很多人也給出了自己的猜想。

第一種可能的原因是心理作用。

Keras創(chuàng )始人Fran?ois Chollet就表示，不是GPT的表現變差，而是大家渡過(guò)了最初的驚喜期，對它的期待變高了。

Hacker News上也有網(wǎng)友持相同觀(guān)點(diǎn)，并補充到人們的關(guān)注點(diǎn)發(fā)生了改變，對GPT失誤的敏感度更高了。

拋開(kāi)人們心理感受的差異，也有人懷疑API版本和網(wǎng)頁(yè)版本不一定一致，但沒(méi)什么實(shí)據。

還有一種猜測是在啟用插件的情況下，插件的額外提示詞對要解決的問(wèn)題來(lái)說(shuō)可能算一種污染。

△WebPilot插件中的額外提示詞

這位網(wǎng)友就表示，在他看來(lái)GPT表現變差正是從插件功能開(kāi)始公測之后開(kāi)始的。

也有人向OpenAI員工詢(xún)問(wèn)是否模型本身沒(méi)變，但推理參數是否有變化？

量子位也曾偶然“拷問(wèn)”出ChatGPT在iOS上的系統提示詞與網(wǎng)頁(yè)版并不一致。

如果在手機端開(kāi)啟一個(gè)對話(huà)，它會(huì )知道自己在通過(guò)手機與你交互。

會(huì )把回答控制在一到兩句話(huà)，除非需要長(cháng)的推理。

不會(huì )使用表情包，除非你明確要求他使用。

△不一定成功，大概率拒絕回答

那么如果在網(wǎng)頁(yè)版繼續一個(gè)在iOS版開(kāi)啟的對話(huà)而沒(méi)意識到，就可能觀(guān)察到GPT-4回答變簡(jiǎn)單了。

總之，GPT-4自發(fā)布以來(lái)到底有沒(méi)有變笨，目前還是個(gè)未解之謎。

但有一點(diǎn)可以確定：

3月14日起大家上手玩到的GPT-4，從一開(kāi)始就不如論文里的。

與人類(lèi)對齊讓AI能力下降

微軟研究院發(fā)表的150多頁(yè)刷屏論文《AGI的火花：GPT-4早期實(shí)驗》中明確：

他們早在GPT-4開(kāi)發(fā)未完成時(shí)就得到了測試資格，并進(jìn)行了長(cháng)期測試。

后來(lái)針對論文中很多驚艷例子，網(wǎng)友都不能成功用公開(kāi)版GPT-4復現。

目前學(xué)術(shù)界有個(gè)觀(guān)點(diǎn)是，后來(lái)的RLHF訓練雖然讓GPT-4更與人類(lèi)對齊——也就更聽(tīng)從人類(lèi)指示和符合人類(lèi)價(jià)值觀(guān)——但讓也讓它自身的推理等能力變差。

論文作者之一、微軟科學(xué)家張弋在中文播客節目《What’s Next｜科技早知道》S7E11期中也提到：

那個(gè)版本的模型，比現在外面大家都可以拿得到的GPT-4還要更強，強非常非常多。

舉例來(lái)說(shuō)，微軟團隊在論文中提到，他們每隔相同一段時(shí)間就讓GPT-4使用LaTeX中的TikZ畫(huà)一個(gè)獨角獸來(lái)追蹤GPT-4能力的變化。

論文中展示的最后一個(gè)結果，畫(huà)得已經(jīng)相當完善。

但論文一作Sebastien Bubeck后續在MIT發(fā)表演講時(shí)透露了更多信息。

后來(lái)當OpenAI開(kāi)始關(guān)注安全問(wèn)題的時(shí)候，后續版本在這個(gè)任務(wù)中變得越來(lái)越糟糕了。

與人類(lèi)對齊但并不降低AI自身能力上限的訓練方法，也成了現在很多團隊的研究方向，但還在起步階段。

除了專(zhuān)業(yè)研究團隊之外，關(guān)心AI的網(wǎng)友們也在用自己的辦法追蹤著(zhù)AI能力的變化。

有人每天讓GPT-4畫(huà)一次獨角獸，并在網(wǎng)站上公開(kāi)記錄。

從4月12日開(kāi)始，直到現在也還沒(méi)看出來(lái)個(gè)獨角獸的大致形態(tài)。

當然網(wǎng)站作者表示，自己讓GPT-4使用SVG格式畫(huà)圖，與論文中的TikZ格式不一樣也有影響。

并且4月畫(huà)的與現在畫(huà)的似乎只是一樣差，也沒(méi)看出來(lái)明顯退步。

最后來(lái)問(wèn)問(wèn)大家，你是GPT-4用戶(hù)么？最近幾周有感到GPT-4能力下降么？歡迎在評論區聊聊。

本文作者：夢(mèng)晨、克雷西，來(lái)源：量子位，原文標題：《GPT-4變笨引爆輿論！文本代碼質(zhì)量都下降，OpenAI剛剛回應了降本減料質(zhì)疑》

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：