2023年3月29日，非營(yíng)利組織未來(lái)生命研究所（Future of Life）發(fā)表一封公開(kāi)信，呼吁暫停研發(fā)比GPT-4更強大的人工智能系統至少6個(gè)月，包括特斯拉CEO馬斯克、Stability AI的首席執行官莫斯塔克（Emad Mostaque）等在內的1000多名該領(lǐng)域的專(zhuān)家、科技人員、產(chǎn)業(yè)高層都在這封公開(kāi)信上簽了名，在這封信上， 我們也看到了一位中國科學(xué)家的名字—曾毅（中國科學(xué)院自動(dòng)化研究所人工智能倫理與治理中心主任）。

(相關(guān)資料圖)

這封公開(kāi)信，雖無(wú)法律效力，但是引起了公眾對人工智能治理的問(wèn)題的空前關(guān)注，我們特別找到曾毅主任，問(wèn)他是否方便談一下為何在這封公開(kāi)信上簽名。他回復得很果斷：“肯定可以說(shuō)，而且要說(shuō)清楚?！痹趯υ?huà)中，我們也向他提了一個(gè)比較尖銳的問(wèn)題：“AI領(lǐng)域的技術(shù)研發(fā)落后是更可怕，還是繼續研發(fā)人工智能帶來(lái)的潛在風(fēng)險更可怕？”曾毅的觀(guān)點(diǎn)很明確：“用一種競爭的視角來(lái)分析這個(gè)問(wèn)題的時(shí)候就會(huì )使人不理性，中國目前的水平還沒(méi)達到GPT-4，我贊同的是發(fā)展信息處理能力接近GPT-4的大模型，但是在倫理安全治理方面的規制與思考要遠遠超越GPT-4這樣的大模型的研發(fā)?！?/span>

在與曾毅的對話(huà)中，我們還請教了以下問(wèn)題：

①如果用暫停六個(gè)月?lián)Q取時(shí)間窗口，我們最急需解決人工智能帶來(lái)的哪些負面影響？

②大模型的技術(shù)原理并沒(méi)有被完全弄清楚，就被大規模推向普通用戶(hù)，這是不是一種不負責任的做法？

③用大量數據“投喂”的訓練方法，是否真的能讓人工智能產(chǎn)生意識？

④通過(guò)了圖靈測試，就意味著(zhù)人工智能擁有了“人類(lèi)智能”嗎？

⑤國內大模型在兩三個(gè)月內“扎堆推出”，有哪些潛在風(fēng)險？

⑥應對人工智能時(shí)代的到來(lái)，孩子們應該從小就開(kāi)始學(xué)習人工智能課程嗎？

以下為對話(huà)內容：

暫停超過(guò)GPT-4水平的巨型人工智能研發(fā)很有必要

騰訊科技：您在暫停超過(guò)GPT-4水平的巨型人工智能研發(fā)公開(kāi)信上簽了名，是在公開(kāi)信公布之前，就已經(jīng)收到了邀約嗎？

曾毅：在這個(gè)信發(fā)起之前，確實(shí)是通過(guò)了不同的渠道在向我們發(fā)出邀請。但是我真正簽字也是在它發(fā)布之后。

我之所以支持這樣一個(gè)倡議確實(shí)是基于我對現在人工智能的大模型快速地介入到社會(huì )服務(wù)當中的擔憂(yōu)。因為在GPT3.5的時(shí)候，它的隱患就已經(jīng)顯現了。到了GPT4發(fā)布的時(shí)候，它的能力不限于文本的交互，已經(jīng)到了多模態(tài)的內容生成，曝露出來(lái)的風(fēng)險會(huì )更多。

GPT系列跟以前的人工智能的發(fā)展模式非常不一樣。以前的人工智能，比如我做一個(gè)人臉識別的系統，人臉的信息是什么樣的，輸出可能有多少類(lèi)？其實(shí)相對來(lái)說(shuō)都是可預期的。但是現在GPT的數據是互聯(lián)網(wǎng)的數據，這些數據中包含“誰(shuí)說(shuō)過(guò)什么”都不可預期，另外一端誰(shuí)去問(wèn)什么問(wèn)題也不可預期。問(wèn)了問(wèn)題之后，ChatGPT的反饋是什么樣的，更不清楚。這樣一來(lái)，就至少有三重不確定性，使得未來(lái)人工智能在服務(wù)于人類(lèi)社會(huì )的時(shí)候，一旦它存在潛在的風(fēng)險，它將以什么樣的模式和速度去放大？這個(gè)真是非常難以預期的。

可以說(shuō)它在帶給我們超級能力的同時(shí)，帶給我們的風(fēng)險也是巨大的。所以就像公開(kāi)信中提到的，我們準備好了讓這樣的技術(shù)替代我們原本很滿(mǎn)意的工作嗎？我們準備好讓這種文本生成的技術(shù)去干擾甚至替代人類(lèi)的文明嗎？還有對于技術(shù)的安全倫理道德方面是不是讓它做好了準備，去服務(wù)于這么廣泛的用戶(hù)？公開(kāi)信中提到的一系列的問(wèn)題，沒(méi)有一個(gè)問(wèn)題我們做好了準備，但是它的大規模的應用已經(jīng)開(kāi)始了。

所以那個(gè)時(shí)候大家說(shuō)中國應不應該做？我說(shuō)這個(gè)問(wèn)題不用討論，中國很快就會(huì )出來(lái)。要擔心的問(wèn)題是一個(gè)地方會(huì )有幾套大模型出來(lái)。我們現在這個(gè)現狀就是這樣的。大學(xué)里可能有兩三套大模型都是基礎模型，科研院所甚至更多，產(chǎn)業(yè)更是數不勝數。倒是我從來(lái)沒(méi)有發(fā)現某一個(gè)人工智能企業(yè)說(shuō)我絕對不做大模型。幾乎可以這樣說(shuō)，人工智能企業(yè)現在都在布局大模型的研究。但是，很少有人說(shuō)我們如何去防范這些風(fēng)險。

這是那封公開(kāi)信的意義和價(jià)值。正因為我們對于可能的潛在的風(fēng)險還完全沒(méi)有準備好，但是已經(jīng)開(kāi)始過(guò)早、過(guò)于激進(jìn)地嘗試，所以我覺(jué)得暫停6個(gè)月是必要的，先去解決潛在的風(fēng)險，我們先好好地思考一下。

能力達到GPT4這個(gè)層次的大模型已經(jīng)能夠滿(mǎn)足我們很多的需求，那么我們要不要先做基于不超越GPT-4這個(gè)能力的產(chǎn)業(yè)化的應用，然后同步地解決它潛在的問(wèn)題？但是，比它性能再高等的人工智能的大模型是不是能先暫緩？我覺(jué)得這個(gè)既是這封信的初衷，也是我簽這封公開(kāi)信的動(dòng)機。

騰訊科技：是不是中國還沒(méi)到GPT-4的水平，我們可以先繼續？

曾毅：我認為是這樣的。目前中國沒(méi)有任何一個(gè)人工智能的大模型達到GPT-4的能力，所以我贊同的是發(fā)展信息處理能力接近GPT-4的大模型，但是在倫理安全治理方面的規制與思考遠遠超越GPT-4這樣的大模型的研發(fā)。

騰訊科技：那為什么是6個(gè)月？如果做這些準備，6個(gè)月夠嗎？

曾毅：我覺(jué)得6個(gè)月是一個(gè)倡議，6個(gè)月是一個(gè)可以嘗試的時(shí)段。能夠取得一定的效果一定比不做準備要強很多。但是，我們在6個(gè)月之內，我們是否能夠充分思考相關(guān)的風(fēng)險，并做到防范？我覺(jué)得不是，這個(gè)是不夠的。

這封信當中也講了至少暫停6個(gè)月，盡可能地解決這個(gè)問(wèn)題。最關(guān)鍵的是它里面提到了一個(gè)倡議，大家是不是能夠坐下來(lái)去開(kāi)發(fā)公共的人工智能安全協(xié)議，倫理道德檢測的框架，以使得為未來(lái)做好準備。我覺(jué)得如果是6個(gè)月之內把我們潛在的倫理道德的問(wèn)題解決了，也許可以嘗試構造這樣的安全協(xié)議檢測的框架，解決其中現有的絕大部分的問(wèn)題，我覺(jué)得還是有希望的。

騰訊科技：如果這6個(gè)月內要解決這些您認為潛在的風(fēng)險問(wèn)題，哪類(lèi)風(fēng)險我們最需要先解決？這個(gè)有沒(méi)有一個(gè)產(chǎn)業(yè)界認可的框架？

曾毅：我覺(jué)得人工智能大模型它對于人類(lèi)非常直接的傷害形態(tài)是顯而易見(jiàn)的。第一，人工智能大模型對于整個(gè)社會(huì )的沖擊最大的是對社會(huì )信任的沖擊?，F在你看的，眼見(jiàn)不為實(shí)，耳聽(tīng)也不為實(shí)。什么信息當你看到的時(shí)候，你的第一反應就是這是真的嗎？這是人工智能生成的吧？你會(huì )有這樣的認知。所以，它對社會(huì )信任本身是一個(gè)極大的挑戰。就是如何去降低對社會(huì )信任的沖擊？我覺(jué)得這個(gè)是最嚴重的問(wèn)題，它將改變幾代人。

另外，關(guān)乎到個(gè)人利益的部分風(fēng)險要注意。既然大模型是基于互聯(lián)網(wǎng)數據，但是互聯(lián)網(wǎng)很多數據確實(shí)難免涉及個(gè)人隱私數據，如何避免對個(gè)人權利的侵犯？我覺(jué)得這是個(gè)很大的問(wèn)題。你用別人的照片去做生成，有沒(méi)有經(jīng)過(guò)別人的允許？你甚至拿已故的人的數據做一些生成，這對于家庭可能的影響，對于死者是不是尊重？這些已經(jīng)變成非常緊迫的問(wèn)題了。

另外就是人工智能生成的技術(shù)。我覺(jué)得最需要避免的問(wèn)題就是混淆人與人工智能之間的邊界。比如說(shuō)我能不能跟人工智能談戀愛(ài)？有些人說(shuō)未來(lái)一代，也許可能不會(huì )聽(tīng)老師說(shuō)什么，不會(huì )聽(tīng)家長(cháng)說(shuō)什么，而只會(huì )相信類(lèi)ChatGPT的產(chǎn)品說(shuō)了什么，什么問(wèn)題都去問(wèn)ChatGPT類(lèi)似的產(chǎn)品。這樣的話(huà)，我會(huì )覺(jué)得問(wèn)題就非常大了。

為什么？因為人類(lèi)的價(jià)值觀(guān)、對于世界的理解，這種傳承應該是在人與人之間的，如果你混淆了人與人之間的邊界，你說(shuō)ChatGPT也是一種觀(guān)點(diǎn)，甚至有些人說(shuō)我做這個(gè)數字人，這是人的另外一種存在的形式。我覺(jué)得這些都是非常危險的觀(guān)點(diǎn)。為什么？首先人工智能現在沒(méi)有真正的自我，沒(méi)有自我的意識，你怎么能說(shuō)它是一種人的存在形式？有些人說(shuō)它是數字克隆，那對于人類(lèi)的克隆，難道它只是把人類(lèi)一些表征的特征克隆下來(lái)就是真正意義上的人類(lèi)的克隆了嗎？我覺(jué)得這些都是在混淆人與人工智能之間的邊界。這是一個(gè)非常大的風(fēng)險。

更關(guān)鍵的是，未來(lái)人與人工智能之間的這種交互可能對社會(huì )道德存在潛在的沖擊。我覺(jué)得這個(gè)也是非常危險的。我們要傳遞什么樣的價(jià)值觀(guān)給我們的下一代？比如我們以新聞媒體行業(yè)為例，之所以大家會(huì )去看記者寫(xiě)的東西，我覺(jué)得兩件事情很重要：第一個(gè)是真實(shí)客觀(guān)；第二個(gè)就是媒體記者通過(guò)自己的職業(yè)素養，可以去傳遞他對社會(huì )的認知與分析。我覺(jué)得這些東西是人工智能無(wú)法替代的，因為人工智能現在還沒(méi)有真正的理解能力。

還有就是對于信息真實(shí)的程度的判斷，人都有基本的判斷力，會(huì )基于常識做更多的思考。但是對于機器來(lái)講就很難了。人工智能模型會(huì )認為互聯(lián)網(wǎng)上所說(shuō)的事情99%是真的。

所以基于以上種種情況，我覺(jué)得人工智能技術(shù)每往前發(fā)展一步，它對于倫理安全方面的考慮也需要進(jìn)一步。這個(gè)準備我覺(jué)得現在不是選擇題，而是必答題，每一個(gè)賦能社會(huì )的人工智能技術(shù)，都需要有倫理安全道德的框架的約束。

騰訊科技：除了用法律框架和治理框架來(lái)約束人工智能的發(fā)展，還有什么技術(shù)手段可以實(shí)現和人類(lèi)真正意義上的價(jià)值對齊？

曾毅：我覺(jué)得構造看似智能信息處理工具（生成式AI）的這條發(fā)展道路它會(huì )繼續。但是，它不是唯一的道路。人工智能大模型未來(lái)的發(fā)展，有了倫理道德的約束、有了管理規定標準、甚至是法律，這些是不是就夠了？從技術(shù)落地的層次來(lái)講，肯定是不夠的。這些東西怎么技術(shù)化？怎么把它實(shí)現在人工智能的系統當中？這有不同的選擇。比如你現在可以和人工智能大模型去對話(huà)，這些隱含倫理道德風(fēng)險的問(wèn)題可以用評測的方式去評測它，讓它去回避可能會(huì )對人類(lèi)產(chǎn)生負面影響的答案。

另一方面就是大模型本身。即使你用測評的方式、規則的方式限制它可能回答問(wèn)題的類(lèi)型或者是回答問(wèn)題的方式，但這并不能證明大模型本身就理解了這個(gè)內容。它既然沒(méi)理解，你就很可能會(huì )繞過(guò)它防范的方式，使得它去回答你想讓它回答的一些問(wèn)題?，F在這種嘗試很多。ChatGPT不能回答什么問(wèn)題，道德上規定它不要回答哪些問(wèn)題，大家就換其他的途徑去勾引它回答哪些問(wèn)題。很多成功的例子。這就證明這種防范不是完全有效的。

所以說(shuō)未來(lái)人工智能只有具備真正的道德的基礎，道德的直覺(jué)，具備道德推理的能力，真正理解為什么人類(lèi)采用這樣的道德規范，而不是用規則灌輸給它，那它才能真正地實(shí)現我們說(shuō)的有道德的人工智能。

我們現在希望人工智能秉持人類(lèi)的道德規范，但是我們也要知道人類(lèi)的道德規范也是在不斷地演化的。所以，人工智能作為人類(lèi)的一面鏡子去演化，能夠幫助我們人類(lèi)更好地看清我們人類(lèi)的未來(lái)，所以，我不覺(jué)得只要滿(mǎn)足于人類(lèi)道德的約束就是人工智能道德的終點(diǎn)。人與人工智能的希望達到的理想的共生狀態(tài)應當是人工智能的演化，也能幫助人類(lèi)的進(jìn)步，也使得人類(lèi)的倫理道德的框架不斷地演進(jìn)。

騰訊科技：回到這封公開(kāi)信，您在國內也做了一個(gè)調查，您覺(jué)得我們現在在AI領(lǐng)域的技術(shù)研發(fā)落后是更可怕，還是說(shuō)繼續無(wú)止境地研發(fā)更可怕？

曾毅：當人們去思考如果我不發(fā)展是不是就落后了，采用一種競爭的視角來(lái)分析這個(gè)問(wèn)題的時(shí)候就會(huì )使人不理性。我們做的關(guān)于暫停人工智能大模型研究的這個(gè)調研現在大概有一千多人通過(guò)互聯(lián)網(wǎng)參與，遍布全國各個(gè)省市?？傮w的觀(guān)點(diǎn)來(lái)講現在是挺明顯的。大概有將近40%的人是同意暫停人工智能大模型研究的；大概有25%的人是不同意暫停人工智能大模型研究的；有大概5%的人認為應該暫停所有人工智能大模型的研究 ，先把它的倫理安全框架做好。還有大概百分之十幾、二十的人會(huì )認為你暫停大模型也沒(méi)啥用，這個(gè)問(wèn)題反正也不那么容易解決。

這是一個(gè)基本的統計。但是讓我看來(lái)很欣慰的是在人工智能的大模型的研究者里，有25%以上的人會(huì )認為現在暫停超越GPT-4能力的大模型的研究是很有意義的事情。他們作為利益的最相關(guān)者有將近四分之一的人是贊同的，這個(gè)是值得關(guān)注的。

另外，有很多人不是研究人工智能大模型的，但是他是人工智能的研究者，可能走的是不同的路徑。這一部分人同意暫停人工智能大模型的比例顯著(zhù)是更多的。所以，我們也可以看到當你走出人工智能大模型的利益相關(guān)方來(lái)看，更理性地來(lái)分析這個(gè)問(wèn)題，離人工智能界越遠的人對于暫停人工智能大模型越認可。比如人文社科領(lǐng)域、認知科學(xué)與心理學(xué)領(lǐng)域的人，認同暫停人工智能大模型的會(huì )更多。人文社科領(lǐng)域的學(xué)者更關(guān)切的這些，比例顯著(zhù)高于人工智能的從業(yè)者。這個(gè)也對于像我這樣的人工智能的從業(yè)者也提出一種警醒，就是發(fā)展技術(shù)的同時(shí)關(guān)注社會(huì )的影響。

騰訊科技：您的同行有沒(méi)有跟您爭論過(guò)這件事？

曾毅：有的。甚至有像我一樣同時(shí)從事技術(shù)研究，但是也關(guān)注人工智能倫理的學(xué)者表示了不同意見(jiàn)。他們覺(jué)得暫停不能解決問(wèn)題，你就盡可能地快速地通過(guò)技術(shù)治理的方式解決問(wèn)題就好了，而不是說(shuō)暫停下來(lái)它的研究。

但是，我的看法仍然是這樣的，如果說(shuō)GPT-4這樣能力的信息處理工具的潛在風(fēng)險已經(jīng)讓我們焦頭爛額了，每天都出現人工智能給大家惹的麻煩，現在幾乎可以這樣說(shuō)。那如果我們真的沒(méi)有準備好，我們是不是可以先把它的已知風(fēng)險解決掉再去繼續？但是我想不同的人有不同的出發(fā)點(diǎn)，不管是不是暫停，發(fā)展人工智能技術(shù)不管它達沒(méi)達到GPT-4的能力，開(kāi)展倫理安全框架的研究，并且在研制的過(guò)程中就把倫理安全框架內置到這個(gè)模型當中，在提供服務(wù)之前完全地融合和充分地考慮倫理安全的風(fēng)險，并完善這個(gè)倫理安全的測試，我覺(jué)得至少這樣做是特別必要的，比之前只是發(fā)展它的信息處理能力要強得多。

騰訊科技：公開(kāi)信的約束力有多大？它只是給人一種影響和一種倡議？

曾毅：我們可以看到簽這個(gè)公開(kāi)信背后的科學(xué)家們做出了非常負責任地選擇。我們在公開(kāi)信簽名的作者當中既可以看到人工智能的圖靈獎的獲得者Yoshua Bengio，也可以看到老一代的人工智能的開(kāi)拓者，比如說(shuō)伯克利大學(xué)的Stuart Russell教授，以及關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò )提出者John Hopfield教授，他們都是最了解神經(jīng)網(wǎng)絡(luò )進(jìn)展的人，但是為什么大家做出共同的選擇？一方面我想是一個(gè)價(jià)值觀(guān)的倡導。但是它的作用方面，我想通過(guò)這個(gè)公開(kāi)信是團結了大家共同去研發(fā)它的安全倫理的協(xié)議和檢測的平臺，使得在學(xué)術(shù)和產(chǎn)業(yè)界當中不僅僅是通過(guò)這個(gè)事件提升公眾的意識，更關(guān)鍵的是促成采取行動(dòng)，至于這個(gè)問(wèn)題本身是不是由于暫停來(lái)解決的？我覺(jué)得只要這個(gè)問(wèn)題解決了，哪怕說(shuō)企業(yè)界自己把這個(gè)問(wèn)題解決了，假設說(shuō)兩個(gè)禮拜就能解決，我相信這些學(xué)者也了樂(lè )見(jiàn)其成。所以，我覺(jué)得它的目的是幫助我們去解決問(wèn)題，它的約束力是很低的。

但是據我所知，我們已經(jīng)有相關(guān)的學(xué)者在盡其所能地聯(lián)絡(luò )不僅僅是國內的，也有國外的企業(yè)，希望做出更負責任的共同承諾。所以我想它已經(jīng)成為一個(gè)公眾關(guān)注的事件，已經(jīng)發(fā)揮了一定的作用，已經(jīng)引起了人工智能大模型研究者的重視。我們下面希望看到的是產(chǎn)學(xué)研界協(xié)同采取行動(dòng)。一方面是構建安全倫理框架，并實(shí)施安全倫理框架。第二個(gè)是從源頭創(chuàng )新上提出真正能夠實(shí)現有道德的人工智能的科學(xué)的進(jìn)展，才是真正對人類(lèi)來(lái)說(shuō)負責任的創(chuàng )新，負責任的行為，我們才能真正憧憬人類(lèi)與人工智能和諧共生的未來(lái)。

騰訊科技：未來(lái)在人工智能治理方面，公司、科研機構、和國家都分別應該承擔哪些責任？

曾毅：首先人工智能的發(fā)展，特別是生成式人工智能的發(fā)展和應用確實(shí)是一個(gè)多利益相關(guān)方治理的框架。首先要開(kāi)發(fā)一套人工智能的產(chǎn)學(xué)研方要進(jìn)行治理自治的框架。先把能避免的問(wèn)題盡量避免掉。第二步就是在人工智能管理的層面是一定要有規制的。所以你看到我們國家網(wǎng)信辦在去年發(fā)布的《互聯(lián)網(wǎng)信息深度合成管理規定》和前幾天發(fā)布的《生成式人工智能管理辦法意見(jiàn)草案征求意見(jiàn)稿》都是在這樣的背景下誕生的，也是多部委協(xié)作的機制。

人工智能的監管是一個(gè)機制復合體，相關(guān)部門(mén)例如科技部、工信部、網(wǎng)信辦，甚至我們的安全部門(mén)都發(fā)揮著(zhù)不同的作用。我想更關(guān)鍵的是，來(lái)自公眾的力量非常關(guān)鍵，人工智能的發(fā)展一旦引起了社會(huì )的問(wèn)題，來(lái)自于公眾的反饋，來(lái)自于媒體的反饋，這些對于人工智能的自律自治、頂層監管是一個(gè)非常必要、甚至未來(lái)有可能是主導性的互補。

面對大模型技術(shù)的“黑箱”，我們應該警惕些什么？

騰訊科技：OpenAI的創(chuàng )始人承認并沒(méi)有完全搞懂ChatGPT的運行原理，就把它推向了普通的用戶(hù)、推向了大規模的應用，這是不是一種不負責任的做法？

曾毅：我覺(jué)得他們這樣做的另外一個(gè)初衷是去收集大量的人類(lèi)反饋來(lái)完善他們的創(chuàng )造。所以，你能夠明白它為什么要公開(kāi)？包括商機，我想這個(gè)都是明顯地來(lái)自于他們的訴求。但是你講它是不是已經(jīng)做了它應該做的負責任的行為，它在2022年初就完成了ChatGPT的研發(fā)，花了幾個(gè)月的時(shí)間去做測試，應該說(shuō)已經(jīng)做出了初步的努力，它很顯然不夠，因為當他們把這個(gè)技術(shù)擴散在互聯(lián)網(wǎng)上的時(shí)候相關(guān)的隱患就已經(jīng)出現了，也就證明準備還是不充分的。所以，也就證明了暫停6個(gè)月大模型的倡議的價(jià)值。

我想未來(lái)的人工智能企業(yè)確實(shí)是需要更負責任地創(chuàng )新?？梢钥吹轿覀儑鴥却竽Ｐ偷难芯繖C構所發(fā)布的大模型幾乎是在二三月份的時(shí)候開(kāi)始宣布，到四月份就發(fā)布，它們經(jīng)過(guò)的倫理安全檢測就更少。所以我特別希望能提醒相關(guān)領(lǐng)域的企業(yè)和服務(wù)方，我們做的不僅僅是變革社會(huì )的工具，更關(guān)鍵的是賦能社會(huì )發(fā)展的平臺，這個(gè)時(shí)候對于社會(huì )的責任，我們別無(wú)選擇、必須承擔。

騰訊科技：您認為“大力出奇跡”的人工智能大模型發(fā)展路徑，是可持續的最優(yōu)路徑嗎？

曾毅：我印象中有一次跟領(lǐng)域內學(xué)者的討論，大家當時(shí)說(shuō)人類(lèi)處于一個(gè)轉折點(diǎn)，我們現在甚至可以扮演上帝的角色，因為以前是上帝來(lái)設計人，現在是我們人可以設計未來(lái)的人工智能。我很難贊同這樣的觀(guān)點(diǎn)。為什么這樣說(shuō)？如果人工智能模擬人腦的演化過(guò)程，經(jīng)歷的是物競天擇、適者生存，和大自然和諧共處，基于此來(lái)延展未來(lái)的人工智能，是比較安全的。

而現在，從一個(gè)隨機的神經(jīng)網(wǎng)絡(luò )開(kāi)始讓它跟環(huán)境交互、自主演化，最終人類(lèi)犯過(guò)的錯誤它都可能犯一遍。如果它在一個(gè)模擬環(huán)境中，把所有犯過(guò)的錯誤都犯一遍，那還好。但是，如果把它放到真實(shí)的環(huán)境中跟人去交互，跟生態(tài)去交互，它犯錯的過(guò)程帶來(lái)的風(fēng)險和隱患就直接作用于人了。

所以，我覺(jué)得以大規模數據驅動(dòng)的方式構造的只能是智能信息處理的工具，再發(fā)展下去就是看上去超級智能的工具，但是，它沒(méi)有自我、也不會(huì )產(chǎn)生意識，也很難成為所謂的人類(lèi)的伙伴或者是社會(huì )準成員。

我認為人工智能發(fā)展到現在，其實(shí)跟人工智能最早的愿景已經(jīng)非常不一樣了，在達特茅斯會(huì )議上，關(guān)于人工智能愿景（補充英文）原文講的是“人類(lèi)智能的方方面面都能夠被精確地描述，并且我們用機器能夠模擬人類(lèi)智能的方方面面的話(huà)，就可以認為這樣的機器具有人工智能”。

但是我們現在看產(chǎn)業(yè)界的人工智能，其實(shí)是有大規模的數據，有所預期的輸出形式，然后用一種數學(xué)優(yōu)化的方式去擬合數據從輸入到輸出之間的關(guān)系。但是，機器中間處理的過(guò)程可以跟“人類(lèi)智能”沒(méi)有任何關(guān)系。

如果偏要把它叫做人工智能的話(huà)，我把它叫做data intensive的AI，就是數據智能。但是真正的人工智能首先最重要的恐怕不是數據，而是機制。人類(lèi)的大腦經(jīng)歷了數億年演化，它不是短期學(xué)習的結果。如果機器能在不同尺度刻畫(huà)智能的方方面面，模仿它的機制，這樣才是最初定義的真正意義上的人工智能。這樣的模擬人腦的人工智能，擁有人類(lèi)數億年演化的經(jīng)驗，受這個(gè)啟發(fā)構造的人工智能也能避免很多潛在風(fēng)險。

騰訊科技：目前沒(méi)有人能解釋為什么被投喂過(guò)這么多數據之后，人工智能會(huì )出現“涌現能力”，即使這樣，您也認為人工智能不能產(chǎn)生意識嗎？

曾毅：我認為目前所謂的涌現其實(shí)還是一種誤解。應該說(shuō)以前的人工智能的模型從來(lái)沒(méi)有基于如此大規模、如此多模態(tài)的數據進(jìn)行訓練，產(chǎn)生如此多的參數，意義是什么？其實(shí)是應對不確定性。所以只管感受，我們覺(jué)得它能回答很多復雜的問(wèn)題。其實(shí)這種能力首先來(lái)自于數據本身，互聯(lián)網(wǎng)級別的數據，基本能覆蓋正常人能想到的所有問(wèn)題。它利用這種統計的顯著(zhù)性，再加上一定的隨機的變量產(chǎn)生的答案會(huì )讓你覺(jué)得在別的地方?jīng)]太看到過(guò)。這是一個(gè)基礎。

至于說(shuō)它表現出來(lái)的不可預期性，我總體上感覺(jué)目前大家還是有點(diǎn)想多了?；诮y計顯著(zhù)性，隨機生成的能力，它的表現力是非常豐富的，但是即使如此，這并不代表著(zhù)模型本身真正產(chǎn)生了所謂的理解能力。對于ChatGPT來(lái)講，首先剛才我們說(shuō)了統計的顯著(zhù)性發(fā)揮了重要的作用，大規模的數據作為一個(gè)基礎，人類(lèi)反饋的強化學(xué)習使得它的答案不是最優(yōu)，而是更接近人類(lèi)的期望。

背后其實(shí)還有很多的規則。比如你讓它分析問(wèn)題，它總是分為兩類(lèi)——這個(gè)事情有正面的意義，也有反面的意義。從正面列幾條原因，反面來(lái)列幾條原因。這其實(shí)在背后都是有人工的模板的。所以你會(huì )覺(jué)得“ChatGPT好理性啊”。但是人的話(huà)反而并不是那樣的。很多時(shí)候人會(huì )持一個(gè)明確的觀(guān)點(diǎn)，反應出你的信念。

人與人工智能的危險關(guān)系

騰訊科技：那到底如何測量這個(gè)機器是不是真的聰明？之前我們有圖靈測試，現在我們可能看到越來(lái)越多的報道說(shuō)某個(gè)人工智能研發(fā)通過(guò)了圖靈測試，圖靈測試還有效嗎？

曾毅：首先當圖靈在寫(xiě)《Computing machinery and intelligence》這個(gè)文章的時(shí)候就講到，測試智能的方式應該是多種多樣的。對話(huà)的方式只是其中的一種方式。換句話(huà)說(shuō)我并不認為ChatGPT通過(guò)了圖靈測試。你讓接觸過(guò)ChatGPT的很多人再去看人的回答和ChatGPT的回答的時(shí)候，其實(shí)他是很容易區分出來(lái)人和ChatGPT的回答的。因為ChatGPT的回答過(guò)于接近人類(lèi)的需求，看上去過(guò)于完美，使得很容易分辨這是不是來(lái)自一個(gè)“真人”的回答。

人工智能的“智能程度”未來(lái)到底用什么去衡量？首先圖靈自己就不覺(jué)得“圖靈測試”是唯一的方式。他文章結尾就談到你還可以構造一個(gè)小機器人，讓它學(xué)習如何認識世界的事物，可以用這種方式去衡量一個(gè)智能。所以，智能的衡量本身就不存在黃金的標準。

但是，如果說(shuō)與人類(lèi)的智能相類(lèi)比，認知學(xué)家提出的“多元智能”的理論就講了人類(lèi)的智能是方方面面的，而且人類(lèi)不擅長(cháng)做所有的事情，他可能有些方面表現得是很突出的。比如有些人數學(xué)抽象思維能力很強，但是他可能藝術(shù)方面不一定很強。所以，多元智能的理論講到了人類(lèi)的智能方方面面，不需要特別完美，有些方面可能非常突出，但是某一方面的突出也不能推斷出來(lái)它在其他方面也很突出。我覺(jué)得未來(lái)人工智能如果成為社會(huì )的準成員，我們期望的也并不是一個(gè)在方方面面都超越人類(lèi)的社會(huì )的準成員。

我覺(jué)得“有缺點(diǎn)”的人工智能可能從一個(gè)自私的人類(lèi)來(lái)看似乎比什么方面都比人類(lèi)強的人工智能在社會(huì )的接受度上也許會(huì )更高一些。所以，我不覺(jué)得通過(guò)所謂的圖靈測試是一件非?？膳碌氖虑?。它是盡早地讓我們意識到了所謂的圖靈測試的局限性。但是另一方面我也不覺(jué)得我們有必要去尋求這樣的黃金的標準，反而是多元的智能理論它告訴我們智能的本質(zhì)是在于自適應性，是在于多元的發(fā)展。我覺(jué)得這些可能會(huì )更重要。

騰訊科技：所以我們和ChatGPT談戀愛(ài)是永遠不可能做到的是嗎？

曾毅：ChatGPT回答問(wèn)題會(huì )說(shuō)“我認為、我想”，但是，它說(shuō)的這個(gè)“我”是不存在的。因為它說(shuō)的這個(gè)“我”其實(shí)只是一個(gè)符號的象征。你可以認為這是程序給它的一種模式。所以，它沒(méi)有真正的自我感知的能力，也很難在這個(gè)基礎之上發(fā)展出來(lái)這個(gè)自我的意識。你剛才講到我們未來(lái)是不是可以跟ChatGPT談戀愛(ài)？它可以假裝跟你談戀愛(ài)，但是它沒(méi)有自我，沒(méi)有真正的感受。我會(huì )認為現在的GPT家族的技術(shù)確實(shí)是看似相當智能的信息處理，這種用戶(hù)體驗會(huì )越來(lái)越極致，但是，它仍然是看似智能的信息處理，仍然不是真正意義上的“理解”。

騰訊科技：未來(lái)人與人工智能應該是什么樣的關(guān)系？

曾毅：如果把技術(shù)發(fā)展脈絡(luò )放到更長(cháng)的歷史當中來(lái)看，它總是使人回歸到人應當在的這個(gè)位置上，或者是把人類(lèi)解放出來(lái)做更具創(chuàng )造性的工作。但是，現在人工智能進(jìn)展的方式是蠻力的替代。在相關(guān)工作還沒(méi)有完全準備好的時(shí)候，人工智能以一種試探、嘗試的方式去改變社會(huì )，社會(huì )現在是一種被動(dòng)的方式去應對，而不是我們所期待的主動(dòng)地去迎接技術(shù)的變革，更多的人是疲于應對的。

所以，有些人會(huì )以仇視技術(shù)的方式去變革反饋，我覺(jué)得它的根源在于獲得技術(shù)賦能的這些變革者如何幫助社會(huì )做出更自適應的過(guò)程，使得這個(gè)社會(huì )能夠更好地接受這樣的技術(shù)。我們作為技術(shù)創(chuàng )新者不能止步于“我做出來(lái)，讓我們看看技術(shù)能給我們的社會(huì )帶來(lái)什么樣的改變”，你要幫助這個(gè)社會(huì )去適應，幫助這個(gè)社會(huì )去找到人類(lèi)的價(jià)值。我覺(jué)得人類(lèi)的價(jià)值一定不止步于未來(lái)給人工智能提供更多標注的數據，它一定是使得人類(lèi)回到人類(lèi)該做的工作上去。

我記得在一次訪(fǎng)談節目中，節目中有很多父親母親，當時(shí)就講到未來(lái)人工智能會(huì )不會(huì )把大家工作都替代了？我當時(shí)就講到一個(gè)觀(guān)點(diǎn)，也許未來(lái)我們需要重新定義“什么叫做工作”，“我們和工作之間的關(guān)系”，“人是不是通過(guò)工作來(lái)證明自己的價(jià)值”？以前不被認為是工作的一些事情未來(lái)可能成為新的工作類(lèi)型。比如說(shuō)在家里照顧自己的孩子，照顧家里的老人，從事一些社會(huì )服務(wù)，可能都是未來(lái)的工作形態(tài)，這些工作需要人類(lèi)的情感交互，這是人工智能最難去替代的。復雜的情感交互恐怕只有人能夠勝任。而且，它使得我們人真正回到了人的本位。很多時(shí)候對于家庭成員的陪伴，對于下一代的培養，我相信就算人工智能能替代其中部分的步驟我覺(jué)得也是非常蹩腳的。

騰訊科技：應對人工智能時(shí)代的到來(lái)，現在的孩子要培養哪些能力呢？

曾毅：現在有很多家長(cháng)也是非常焦慮，就覺(jué)得我的孩子是不是應該盡早地接觸人工智能？我印象當中也許2017年的時(shí)候，當時(shí)在中國科技館做了一個(gè)科普的活動(dòng)，結束的時(shí)候就有教育系統的人來(lái)問(wèn)我，你作為一個(gè)人工智能的學(xué)者，如果我們做中小學(xué)的人工智能教育，你的建議是什么？后來(lái)過(guò)了一兩年，甚至看到有類(lèi)似的書(shū)出現——《為幼兒園小朋友寫(xiě)的深度學(xué)習教材》，我當時(shí)覺(jué)得這樣的嘗試都是非常沒(méi)有意義的。

為什么？人工智能是一個(gè)高速發(fā)展的學(xué)科。我們如何定義人工智能？如何理解人工智能？這些都在日新月異地變化。而傳遞給幼兒園、小學(xué)生的相關(guān)的，我更希望是生活的智慧，當你給小朋友們講這就是人工智能、人工智能就是這樣處理信息的，我會(huì )覺(jué)得也許我把他們未來(lái)的思考空間縮小了。所以，我當時(shí)給那個(gè)教育系統的工作人員的建議是“小朋友不要把人工智能作為一個(gè)學(xué)科來(lái)學(xué)?！?/span>

如果真的學(xué)有余力的話(huà)，就是讓孩子們學(xué)一門(mén)心理學(xué)，學(xué)認知心理學(xué)，讓他對人本身有更多的認識——人類(lèi)的智慧到底是怎么回事？我們的內心是什么樣的？人如何為人？讓孩子們做更多的思考。第二，我覺(jué)得要向德國和法國學(xué)習，就是初中、高中去學(xué)習哲學(xué)。在更年輕的時(shí)候去思考這些問(wèn)題比我們工作之后幾十歲的時(shí)候再去反思這樣的問(wèn)題有價(jià)值大多了。

我們現在的教育確實(shí)是很多時(shí)候把學(xué)生慢慢地變成工具，他們甚至沒(méi)有時(shí)間去思考自己未來(lái)的時(shí)候就已經(jīng)被放在未來(lái)的賽道上了。所以我覺(jué)得家長(cháng)真的不要那樣焦慮，因為技術(shù)的發(fā)展它最后留給人類(lèi)的實(shí)際上就是屬于人類(lèi)的空間。屬于人類(lèi)的空間就應該以人類(lèi)的方式去開(kāi)展。我很喜歡前《三聯(lián)周刊》的主編舒可文老師的一本書(shū)，是講城市的夢(mèng)想的。他當時(shí)就講人類(lèi)的城市就是一半規劃，一半野蠻的生長(cháng)。規劃那部分你用技術(shù)去改變，野蠻的生長(cháng)這個(gè)部分你就讓人與人之間的交流去驅動(dòng)。人與人工智能的關(guān)系也是這樣的。我最反感的觀(guān)點(diǎn)叫做使人工智能無(wú)處不在。因為我覺(jué)得不管是它發(fā)展的階段還是它本來(lái)應該在這個(gè)社會(huì )中所處的地位都應該是適度地使用，把應該留給人的空間留給人。技術(shù)可以去變革，可以去賦能的地方可以去嘗試，但是我們發(fā)展技術(shù)的目的是為了人類(lèi)更好地生存，更好地發(fā)展。不是用技術(shù)去為人類(lèi)劃一個(gè)句號。

騰訊科技：全世界有這么多國家，大家有不同的文化，那人類(lèi)有沒(méi)有一個(gè)共同的關(guān)于人工智能的終級夢(mèng)想？

曾毅：目前在全球共識的層面比較認可的是作為工具的人工智能。所以，這個(gè)是在聯(lián)合國教科文組織的《人工智能倫理建議書(shū)》當中希望去闡釋的一個(gè)愿景，就是人工智能作為一種工具和賦能性的技術(shù)賦能全球的可持續的發(fā)展。但是，我們對于人工智能的愿景確實(shí)認知有不同，日本認為人工智能應該發(fā)展為社會(huì )的準成員和伙伴，西方認為人工智能只是工具，中國可能介于兩者之間。但是，這些不同的愿景，不同的價(jià)值觀(guān)都是塑造人工智能不同的嘗試。我們未來(lái)希望探索的應當是人與人工智能共享的一個(gè)最小的倫理原則的集合。

這個(gè)最小的倫理原則的集合是不同的文化之間能夠達成的共識，這是第一步。第二步，人與人工智能再次達成共識。這個(gè)作為人與人工智能共生社會(huì )的一個(gè)基石。未來(lái)的國際交往需要一個(gè)倫理的最小集。人與人工智能的倫理也需要這樣的一個(gè)最小集。但是我想這不是終點(diǎn)。真正的終點(diǎn)是最大化我們應該做什么的表述。真正去促進(jìn)穩健地、可持續地發(fā)展。

本文來(lái)源于騰訊科技，原文標題為《對話(huà)科學(xué)家曾毅：中國大模型水平不及GPT-4，我為何簽名支持暫停巨型AI研發(fā)？》

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：