“AI確實(shí)可能殺死人類(lèi)?！?/p>

這話(huà)并非危言聳聽(tīng)，而是OpenAI CEO奧特曼的最新觀(guān)點(diǎn)。

而這番觀(guān)點(diǎn)，是奧特曼在與MIT研究科學(xué)家Lex Fridman長(cháng)達2小時(shí)的對話(huà)中透露。

【資料圖】

不僅如此，奧特曼談及了近期圍繞ChatGPT產(chǎn)生的諸多問(wèn)題，坦承就連OpenAI團隊，也根本沒(méi)搞懂它是如何“進(jìn)化”的：

從ChatGPT開(kāi)始，AI出現了推理能力。但沒(méi)人能解讀這種能力出現的原因。

唯一的途徑是向ChatGPT提問(wèn)，從它的回答中摸索它的思路。

針對馬斯克在推特上的“危險論”，他直言：

馬斯克在我心中是英雄，我支持也理解他的擔憂(yōu)。

雖然他在推特上挺混蛋的，但希望馬斯克能看到我們在解決AGI安全問(wèn)題上付出了多大的努力。

除此之外，在這場(chǎng)對話(huà)過(guò)程中，奧特曼還提到了不少刁鉆的話(huà)題，例如：

ChatGPT、GPT-4開(kāi)發(fā)的內幕

GPT-4是人類(lèi)迄今所實(shí)現的最復雜的軟件

如何看待大家拿ChatGPT越獄

兩位AI大佬用大家都能理解的方式聊AI，多來(lái)點(diǎn)這樣的訪(fǎng)談。

那么接下來(lái)，我們就來(lái)一同看下他們這場(chǎng)深度對話(huà)。

GPT-4內幕大曝光

GPT-4是這場(chǎng)對話(huà)中最受關(guān)注的部分。

它是如何訓練的？如何在訓練模型時(shí)避免浪費算力？如何解決AI回答不同價(jià)值觀(guān)的人的問(wèn)題？

首先是訓練過(guò)程，依舊是預訓練+RLHF，不過(guò)透露了一點(diǎn)具體細節。

GPT-4早在去年夏天就已經(jīng)訓練完成，后面一直在進(jìn)行對齊工作，讓它表現得更符合人類(lèi)需求。

相比預訓練數據集，RLHF所用的數據非常少，但效果是決定性的。

對此，奧特曼透露了一點(diǎn)數據來(lái)源，包含一些開(kāi)源數據集、以及合作商提供的部分數據集。

當然，數據集中也有一點(diǎn)Reddit論壇上出現的迷因梗（meme），但不是很多。對此奧特曼遺憾表示：

如果再多點(diǎn)，它的回答可能會(huì )更有趣。

即便如此，團隊甚至奧特曼自己依舊不能完全解讀GPT-4。

目前對它的解讀方式，依舊是通過(guò)不斷問(wèn)它問(wèn)題，通過(guò)它的回答來(lái)判斷它的“思路”。

而就在不斷測試中，OpenAI發(fā)現從ChatGPT開(kāi)始，GPT系列出現了推理能力。

雖然ChatGPT絕大部分時(shí)候都被當做數據庫使用，但它確實(shí)也出現了一定的推理能力，至于這種能力具體如何出現的，目前卻無(wú)人能回答。

但大模型的訓練往往意味著(zhù)大量算力需求。對此奧特曼再次提到了OpenAI獨特的訓練預測方法：

即便模型很大，團隊目前也有辦法只通過(guò)部分訓練，預測整個(gè)模型的性能，就像是預測一名1歲的嬰兒能否通過(guò)SAT考試一樣。

關(guān)于這一點(diǎn)，在GPT-4論文和官方博客中也有更詳細介紹。

最后奧特曼承認，GPT-4確實(shí)存在應對不同價(jià)值觀(guān)的人的問(wèn)題。

臨時(shí)解決辦法就是把更改系統消息（system message）的權限開(kāi)放給用戶(hù)，也就是ChatGPT中經(jīng)常見(jiàn)到的那段“我只是一個(gè)語(yǔ)言模型……”。

通過(guò)改變系統消息，GPT-4會(huì )更容易扮演其中規定的角色，比在對話(huà)中提出要求的重視程度更高，如規定GPT-4像蘇格拉底一樣說(shuō)話(huà)，或者只用JSON格式回答問(wèn)題。

所以，對于GPT系列來(lái)說(shuō)，誰(shuí)最可能載入人工智能史冊？奧特曼倒不認為是GPT-4：

從可用性和RLHF來(lái)看，ChatGPT無(wú)疑是最具里程碑的那一個(gè)，背后的模型沒(méi)有產(chǎn)品的實(shí)用性重要。

最會(huì )打太極的CEO

GPT-4論文中沒(méi)有透露參數規模、訓練數據集大小等更多細節，還被外界吐槽越來(lái)越不Open了。

在這次訪(fǎng)談中，面對主持人步步追問(wèn)，奧特曼依舊守口如瓶。

GPT-4預訓練數據集有多大？奧特曼只是很籠統的介紹了有公開(kāi)數據集、有來(lái)自合作伙伴的內容（如GitHub提供的代碼）還有來(lái)自網(wǎng)絡(luò )的內容。

活像ChatGPT也能寫(xiě)出來(lái)的那種賽博八股文，只有在談到Reddit的時(shí)候透露了網(wǎng)絡(luò )梗圖在訓練數據中占比不大，“不然ChatGPT可能更有趣一些”。

GPT-4模型參數量有多大？奧特曼只是說(shuō)之前瘋傳的100萬(wàn)億參數是謠言，然后又糊弄過(guò)去了。

我認為人們被參數競賽所吸引，就像過(guò)去被CPU的主頻競賽所吸引一樣?，F在人們不再關(guān)心手機處理器有多少赫茲了，關(guān)心的是這東西能為你做什么。

不過(guò)奧特曼對于一種說(shuō)法是持有肯定態(tài)度——“GPT-4是人類(lèi)迄今所實(shí)現的最復雜的軟件”。

但在主持人Lex突然拋出一些時(shí)下針對GPT-4的尖銳觀(guān)點(diǎn)時(shí)，奧特曼的應對也堪稱(chēng)“AI般淡定”（狗頭）。

例如，關(guān)于前段時(shí)間鬧得沸沸揚揚的GPT-4越獄問(wèn)題。

一名斯坦福教授僅僅用30分鐘，就誘導GPT-4制定出了越獄計劃，并全部展示了出來(lái)。

對此奧特曼表示，就如同當年iPhone也面臨被“黑”或者說(shuō)越獄的問(wèn)題（如當年免費的越獄版App Store）一樣，這并非不能解決的事情。

奧特曼甚至坦承，他當年就把自己的第一臺蘋(píng)果手機越獄了——甚至當時(shí)覺(jué)得這是個(gè)很酷的事情。

但現在已經(jīng)沒(méi)有多少人去干蘋(píng)果越獄的事情了，因為不越獄也足夠好用了。

奧特曼表示，OpenAI的應對思路同樣如此，即把功能做的足夠強，他甚至表示，愿意在這方面給用戶(hù)開(kāi)更多權限，以便了解他們到底想要什么。

除此之外，Lex還提到了馬斯克對于奧特曼的批評。

奧特曼雖然是當年被馬斯克一手提拔的人才，但如今馬斯克不僅退出了他們聯(lián)手創(chuàng )辦的OpenAI，還對OpenAI現狀十分不滿(mǎn)，經(jīng)常在推特上陰陽(yáng)怪氣這家公司。

我捐1億美金成立的非營(yíng)利組織怎么就變成一個(gè)300億市值的營(yíng)利性公司了呢？如果這是合法的，為什么其他人不這樣做？

作為OpenAI現任CEO，奧特曼并未直接回應此事，而是調侃了一下馬斯克在航天領(lǐng)域也經(jīng)常被“老前輩”們批評的事情。

這一系列采訪(fǎng)問(wèn)答，不禁讓人想到在ChatGPT發(fā)布后，奧特曼對于記者“將ChatGPT整合進(jìn)微軟必應和Office”問(wèn)題的回應方式：

你知道我不能對此發(fā)表評論。我知道你知道我不能對此發(fā)表評論。你知道我知道你知道我不能對此發(fā)表評論。

既然如此，為什么你還要問(wèn)它呢？

GPT的“偏見(jiàn)”不會(huì )消失

GPT在迭代過(guò)程中“偏見(jiàn)”必然存在，它不可能保持完全中立。

在主持人提到關(guān)于ChatGPT以及GPT-4種存在的偏見(jiàn)問(wèn)題時(shí)，奧特曼這樣回應道。

ChatGPT在推出之初，就不是一個(gè)成熟的產(chǎn)品，它需要不斷迭代，而在迭代的過(guò)程中，僅僅依靠?jì)炔康牧α渴菬o(wú)法完成的。

“提前”推出ChatGPT技術(shù)，是要借助外部世界的集體智慧和能力，同時(shí)也能讓全世界參與進(jìn)“塑造AI”的過(guò)程中。

而不同人對于問(wèn)題的看法也各不相同，所以在這個(gè)過(guò)程中，“偏見(jiàn)”問(wèn)題就不可避免。

甚至奧特曼在話(huà)里話(huà)外也透露著(zhù)：在GPT中，“偏見(jiàn)”永遠不會(huì )消失。

他將外部參與建設GPT比作“公開(kāi)領(lǐng)域建設的權衡”。

GPT生成答案是個(gè)性化控制的結果，迭代的過(guò)程則是更精準地控制“個(gè)性化”的過(guò)程。

有趣的是，期間奧特曼還暗戳戳“背刺”起了馬斯克的推特：

推特摧毀掉的多元性，我們正在將其找回來(lái)。

（嗯，奧特曼是懂一些話(huà)術(shù)的）

當然，談到ChatGPT，總繞不開(kāi)其背后的公司OpenAI，在成立之初，它就立下了兩個(gè)Flag：

1、非營(yíng)利性

2、通用人工智能（AGI）

如今，已經(jīng)過(guò)去八年之久，這兩個(gè)Flag也是發(fā)生了巨大的變化：AGI的大旗還在高舉，而非營(yíng)利性這面旗則已經(jīng)搖搖欲墜。

對此，奧特曼也是分別作出了回應。

對于OpenAI“非營(yíng)利性質(zhì)”的逐漸削弱，奧特曼直言：很久之前，就已經(jīng)意識到非營(yíng)利性不是長(cháng)久之計。

僅僅依靠非營(yíng)利籌集到的資金對OpenAI的研究來(lái)說(shuō)遠遠不夠，商業(yè)化是必然選擇。

但在之后奧特曼也試圖“找補”回一些，稱(chēng)目前的商業(yè)化的程度僅止于滿(mǎn)足投資者與員工的固定回報，剩余資金還是會(huì )流向非營(yíng)利性組織。

提到AGI，一開(kāi)始在OpenAI聲稱(chēng)要做通用人工智能時(shí)，還有一堆人在嘲諷，如今做出GPT-4這樣的產(chǎn)品，回過(guò)頭來(lái)再看，嘲諷的聲音已經(jīng)越來(lái)越少了。

而面對外界詢(xún)問(wèn)“GPT-4是AGI嗎”這樣的問(wèn)題時(shí)，奧特曼則是直接給出了自己理解中的AGI：

AGI所掌握的知識應該是要超過(guò)人類(lèi)科學(xué)知識總和的，并且具有創(chuàng )造性，能夠推動(dòng)基礎科學(xué)的發(fā)展；

而目前所有GPT并不能做到這些，想要達到AGI還需要在目前GPT的范式上進(jìn)行拓展，至于如何拓展，正是目前所缺乏的。

值得一提的是，談到AGI時(shí)，是奧特曼在訪(fǎng)談中鮮有的“兩眼放光”的時(shí)刻。

他拋出了一句極具“科研分子理想情懷”的金句：

也許AGI是永遠抵達不了的烏托邦，但這個(gè)過(guò)程會(huì )讓人類(lèi)越來(lái)越強大。

但奧特曼并不否認過(guò)分強大的AGI“可能殺死人類(lèi)”這一觀(guān)點(diǎn)：

我必須承認，（AI殺死人類(lèi)）有一定可能性。

很多關(guān)于A(yíng)I安全和挑戰的預測被證明是錯誤的，我們必須正視這一點(diǎn)，并盡早嘗試找到解決問(wèn)題的方法。

One More Thing

在談話(huà)最后，Lex Fridman還試圖讓奧特曼講一些給年輕人們的建議，奧特曼直接來(lái)了個(gè)“反雞湯文學(xué)”：

網(wǎng)絡(luò )上的“成功學(xué)”帖子太誘人，建議不要聽(tīng)太多建議。

我就是無(wú)視建議做到現在這樣的。

本文作者：Pine 蕭簫 金磊，來(lái)源：量子位，原文標題：《GPT-4老板：AI可能會(huì )殺死人類(lèi)，已經(jīng)出現我們無(wú)法解釋的推理能力》

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：