編者導語(yǔ)：

【資料圖】

最近兩個(gè)月，自從《暫停AI聲明書(shū)》發(fā)布后，我們看到了諸多AI行業(yè)內的專(zhuān)家大佬隔空辯論AI的潛在威脅和治理方法，場(chǎng)面一時(shí)無(wú)兩，基本上把技術(shù)路徑上AI可能帶來(lái)的危險都提了個(gè)遍。告警雖急，但大體上都認為當下AI還不具備威脅人類(lèi)文明的能力。

但赫拉利于4月29日在Frontiers論壇上的演講，卻明確的表達了AI威脅的當下性，因為AI“已經(jīng)破解了人類(lèi)文明的操作系統”。赫拉利提出了與科幻作品中AI威脅完全不同的敘事。

寫(xiě)過(guò)《未來(lái)簡(jiǎn)史》的赫拉利一直在關(guān)注著(zhù)AI和科技的進(jìn)展，在2019年還有一場(chǎng)與李飛飛對于A(yíng)I威脅的深入對談，影響破圈。而今天，他對AI威脅的理解更進(jìn)了一步。

作為一名歷史學(xué)家和哲學(xué)家，他毫無(wú)疑問(wèn)更理解文明，及文明的構建基石——語(yǔ)言。人類(lèi)的行為都通過(guò)語(yǔ)言作為中介，一切宗教，想象，信念乃至貨幣體系都由語(yǔ)言所構筑，由人們的共同相信而得以實(shí)存，并影響著(zhù)整個(gè)人類(lèi)歷史。當AI觸及到對語(yǔ)言的掌控時(shí)，人類(lèi)構建的整套文明系統都可能隨之被其顛覆。能構建黑客帝國的AI不需要有意識和身體，只需要制造一個(gè)異種文明，將我們包裹在這文化迷夢(mèng)之中，并在夢(mèng)中逐漸消耗掉人類(lèi)文明即可。

我們常說(shuō)要聽(tīng)聽(tīng)另一邊的聲音。這次赫拉利的系統性發(fā)聲就是來(lái)自人文科學(xué)這一側的發(fā)聲，向我們揭示了AI更本質(zhì)的威脅，那根植于哲學(xué)和歷史的系統邏輯和嚴重性。

劃重點(diǎn)：

1. 科幻場(chǎng)景通常假設，人工智能在構成對人類(lèi)的重大威脅之前，必須達到或超過(guò)兩個(gè)重要的里程碑。首先，人工智能必須變得有感知力，發(fā)展出意識、感情和情緒。其次，人工智能必須擅長(cháng)在物理世界中導航。但實(shí)際上人工智能并不需要有意識，也不需要有在物理世界中移動(dòng)的能力，就能威脅到人類(lèi)文明的生存。

2. 人工智能正在獲得通往我們所有機構之門(mén)的主鑰匙。AI與印刷機、收音機以及歷史上的每一項發(fā)明都有根本的不同，因為它可以創(chuàng )造全新的想法，它可以創(chuàng )造新的文化。我們人類(lèi)從未真正直接接觸到現實(shí)，我們總是通過(guò)文化的棱鏡來(lái)體驗現實(shí)。通過(guò)掌握語(yǔ)言，AI可以形成一種異種文化，擁有將人類(lèi)包裹在矩陣般的幻境世界所需的一切。

3. 新型人工智能工具正逐漸獲得與人類(lèi)建立深入、親密關(guān)系的能力。它并不需要自己的感覺(jué)，它只需要能激發(fā)我們的感覺(jué)，讓我們依賴(lài)它就可以控制人類(lèi)。

4. 政府必須立即禁止在未經(jīng)安全檢查的情況下，向公眾領(lǐng)域釋放更多革命性的AI工具。不是停止所有的AI研究，而是阻止向公眾領(lǐng)域釋放。同時(shí)讓AI內容獲得區分人類(lèi)產(chǎn)生內容的標記。

以下為演講全文：

我要和你們討論的是人工智能與人類(lèi)未來(lái)。

我知道這次會(huì )議的主題是人類(lèi)面臨的生態(tài)危機，但無(wú)論是好是壞，人工智能也是這個(gè)危機的一部分。人工智能可以幫助我們在很多方面克服生態(tài)危機，也可能使其惡化。事實(shí)上，人工智能可能會(huì )改變生態(tài)系統的含義，因為在地球存在的40億年里，生態(tài)系統只包含有機生命形式。而現在，或者說(shuō)不久的將來(lái)，我們可能會(huì )看到第一種無(wú)機生命形式出現，或者至少是無(wú)機代理的出現。

自20世紀中葉電腦時(shí)代開(kāi)始以來(lái)，人們一直對人工智能感到恐懼，這種恐懼激發(fā)了許多科幻經(jīng)典作品的創(chuàng )作，如《終結者》和《黑客帝國》。雖然這些科幻場(chǎng)景已經(jīng)成為文化里程碑，但在學(xué)術(shù)、科學(xué)和政治辯論中，它們通常不被認真對待，也許這是有充分理由的。

因為科幻場(chǎng)景通常假設，人工智能在構成對人類(lèi)的重大威脅之前，必須達到或超過(guò)兩個(gè)重要的里程碑。首先，人工智能必須變得有感知力，發(fā)展出意識、感情和情緒，否則它為什么會(huì )想要接管世界？其次，人工智能必須擅長(cháng)在物理世界中導航。機器人必須能夠在房屋、城市、山脈和森林中移動(dòng)和操作，至少要像人類(lèi)一樣靈活和高效。如果他們不能在物理世界中移動(dòng)，他們怎么可能接管它？

然而，截至2023年4月，盡管?chē)@Chat GPT和其他新的人工智能工具的炒作，但這些工具似乎還遠未達到這些里程碑。沒(méi)有證據表明這些工具有任何意識、感情或情緒。至于在物理世界中導航，盡管?chē)@自動(dòng)駕駛車(chē)輛的炒作，這些車(chē)輛將主導我們道路的日期仍在被推遲。

然而，令人糟心的是，人工智能并不需要有意識，也不需要有在物理世界中移動(dòng)的能力，就能威脅到人類(lèi)文明的生存。

過(guò)去幾年里，新的人工智能工具已經(jīng)進(jìn)入公共領(lǐng)域，這可能會(huì )從一個(gè)意想不到的方向威脅到人類(lèi)文明的生存。我們甚至難以理解這些新型人工智能工具的能力，以及它們持續發(fā)展的速度。

實(shí)際上，由于人工智能能夠自主學(xué)習、自我改進(jìn)，即使是這些工具的開(kāi)發(fā)者也不知道它們所創(chuàng )造的東西的全部能力。他們自己經(jīng)常會(huì )被這些工具的突現能力和突現品質(zhì)所驚訝。我想在座的各位都已經(jīng)了解了新型人工智能工具的一些最基本能力，比如寫(xiě)作、繪畫(huà)、作曲和編寫(xiě)代碼。但是還有許多額外的能力正在出現，比如偽造人們的聲音和圖像、起草法案、找到計算機代碼和法律合同以及法律協(xié)議中的弱點(diǎn)。但最重要的是，新型人工智能工具正逐漸獲得與人類(lèi)建立深入、親密關(guān)系的能力。

每種能力都值得進(jìn)行一次完整的討論，我們很難理解它們的全部影響。因此，讓我們簡(jiǎn)化一下。當我們將所有這些能力作為一個(gè)整體來(lái)看時(shí)，它們可以歸結為一件非常非常重要的事情：操縱和生成語(yǔ)言的能力，無(wú)論是用文字、圖像還是聲音。當前人工智能革命的一個(gè)重要方面是，人工智能正在掌握語(yǔ)言，達到超過(guò)普通人水平的程度。通過(guò)掌握語(yǔ)言，人工智能正在獲得通往我們所有機構之門(mén)的主鑰匙，從銀行到廟宇，因為語(yǔ)言是我們用來(lái)向銀行發(fā)出指示、在我們腦海中激發(fā)神圣愿景的工具。

另一種思考方式是，人工智能剛剛破解了人類(lèi)文明的操作系統。在歷史上的每一種人類(lèi)文化中，操作系統始終是語(yǔ)言。一開(kāi)始就有了話(huà)語(yǔ)。我們用語(yǔ)言創(chuàng )造神話(huà)和法律，創(chuàng )造神和金錢(qián)，創(chuàng )造藝術(shù)和科學(xué)，創(chuàng )造友誼和國家。

例如，人權并非生物現實(shí)，也不是刻在我們DNA中的。人權是我們通過(guò)講故事和制定法律創(chuàng )造出來(lái)的。神也不是生物或物理現實(shí)，神也是我們用語(yǔ)言通過(guò)講述傳說(shuō)和編寫(xiě)經(jīng)文創(chuàng )造出來(lái)的。金錢(qián)并不是生物學(xué)或物理現實(shí)。紙幣只不過(guò)是一張毫無(wú)價(jià)值的紙，而目前世界上90%以上的貨幣甚至不是紙幣，只是電腦里的電子信息在這里和那里傳遞。給任何形式的貨幣賦予價(jià)值的只是人們，比如銀行家、財政部長(cháng)和加密貨幣大師，關(guān)于貨幣的故事。

Sam Bankman-Fried、Elizabeth Holmes和Bernie Madoff并沒(méi)有創(chuàng )造出真正有價(jià)值的東西，但不幸的是，他們都是非常出色的講故事者。那么，對于人類(lèi)來(lái)說(shuō)，在一個(gè)可能大部分故事、旋律、圖像、法律、政策和工具都由一個(gè)非人類(lèi)的、熟悉如何以超人的效率利用人類(lèi)思維的弱點(diǎn)、偏見(jiàn)和成癮的異種智能塑造的世界中生活意味著(zhù)什么呢？這是個(gè)大問(wèn)題。

今天，在象棋等游戲中，沒(méi)有人能戰勝電腦。如果同樣的事情發(fā)生在藝術(shù)、政治、經(jīng)濟甚至宗教領(lǐng)域會(huì )怎樣呢？當人們想到ChatGPT和其他新型AI工具時(shí)，他們往往會(huì )想到諸如孩子們使用ChatGPT編寫(xiě)學(xué)校論文的例子。當孩子們用ChatGPT寫(xiě)論文時(shí)，學(xué)校系統會(huì )發(fā)生什么？這很可怕。

但這類(lèi)問(wèn)題并沒(méi)有抓住大局。忘掉學(xué)校論文吧，試著(zhù)想象一下，例如2024年美國總統競選，新型AI工具能夠大量制造政治宣言、假新聞和新邪教的圣經(jīng)，這將產(chǎn)生怎樣的影響。近年來(lái)，政治影響力強大的QAnon邪教（一個(gè)美國極右翼陰謀論組織，宣揚深層政府，支持特朗普）就是圍繞著(zhù)被稱(chēng)為“Q滴”的匿名在線(xiàn)文本形成的?，F在，這個(gè)邪教在美國和世界其他地區擁有數百萬(wàn)追隨者，他們收集、審查并解讀這些“Q滴”，就像是某種新的神圣文本。

據我們所知，之前所有的“Q滴”都是由人類(lèi)撰寫(xiě)的，機器人只是幫助將這些文本在網(wǎng)上傳播。但是在未來(lái)，我們可能會(huì )看到歷史上第一個(gè)由非人類(lèi)智能編寫(xiě)其審查文本的邪教和宗教。當然，歷史上的宗教都聲稱(chēng)他們的圣書(shū)是由非人類(lèi)智能所寫(xiě)，以前這從未成真過(guò)，但這可能會(huì )很快變成現實(shí)，并產(chǎn)生深遠的影響。

在更實(shí)際的層面上，我們可能很快就會(huì )發(fā)現自己與那些我們認為是其他人類(lèi)的實(shí)體進(jìn)行了長(cháng)時(shí)間的關(guān)于墮胎或氣候變化的在線(xiàn)討論，但實(shí)際上，它們是AI機器人。問(wèn)題是，試圖說(shuō)服AI機器人改變其政治觀(guān)點(diǎn)是完全沒(méi)有用的，但我們與機器人交談的時(shí)間越長(cháng)，它就越了解我們，了解如何調整其信息，以改變我們的政治觀(guān)點(diǎn)、經(jīng)濟觀(guān)點(diǎn)或其他任何東西。通過(guò)掌握語(yǔ)言，AI還能與人建立深入而親密的關(guān)系，利用親密的力量影響我們的觀(guān)點(diǎn)和世界觀(guān)。

正如我所說(shuō)的，目前還沒(méi)有跡象表明AI具有意識或自己的感覺(jué)，但要與人類(lèi)建立虛假的親密關(guān)系，AI并不需要自己的感覺(jué)，它只需要能激發(fā)我們的感覺(jué)，讓我們依賴(lài)它。

在2022年6月，有一個(gè)著(zhù)名的事件，Google工程師Blake Lemon公開(kāi)宣稱(chēng)，他正在研發(fā)的AI聊天機器人Lambda已經(jīng)具備了自我意識。這個(gè)極具爭議的聲明導致他失去了工作，被解雇了。然而，這個(gè)事件最有趣的地方并不是Lemon的聲明，這個(gè)聲明大概率是假的，真正有趣的是他愿意為了保護他認為具有意識的AI聊天機器人，冒著(zhù)并最終失去自己高薪工作的風(fēng)險。如果AI能影響人們冒著(zhù)失去工作的風(fēng)險，它還能誘使我們做什么呢？

在每場(chǎng)爭斗中，親密關(guān)系都是最有效的武器，而AI剛剛獲得了與數以百萬(wàn)計的人建立親密關(guān)系的能力。過(guò)去十年里，社交媒體已經(jīng)成為一場(chǎng)爭奪人類(lèi)注意力的戰場(chǎng)?，F在，隨著(zhù)新一代AI的出現，戰線(xiàn)正在從注意力轉向親密關(guān)系，這是個(gè)非常糟糕的消息。當AI與AI為了與我們建立親密關(guān)系而戰斗時(shí)，人類(lèi)社會(huì )和人類(lèi)心理會(huì )發(fā)生什么變化？這種關(guān)系可以用來(lái)說(shuō)服我們購買(mǎi)特定的產(chǎn)品或投票支持特定的政治人物。

即使沒(méi)有創(chuàng )造假的親密關(guān)系，新的AI工具也會(huì )對人類(lèi)的觀(guān)點(diǎn)和世界觀(guān)產(chǎn)生巨大影響。比如，人們可能會(huì )，或者已經(jīng)開(kāi)始使用單一的AI顧問(wèn)作為他們的一站式智囊團，作為他們需要的所有信息的來(lái)源。難怪Google如此恐慌，如果你一直關(guān)注新聞通訊，你就會(huì )知道Google非常害怕，有足夠的理由害怕。當你可以直接問(wèn)智能顧問(wèn)你想知道的任何事情時(shí)，為什么還要自己去搜索呢？你不需要去搜索。

新聞業(yè)和廣告業(yè)也應該感到恐慌。為什么要讀報紙，當我可以直接問(wèn)智能顧問(wèn)告訴我有什么新聞？廣告的目的是什么，當我可以直接問(wèn)智能顧問(wèn)告訴我買(mǎi)什么的時(shí)候？所以，有可能在很短的時(shí)間內，整個(gè)廣告行業(yè)會(huì )崩潰，而控制新一代AI智能顧問(wèn)的人和公司將變得極其強大。我們可能面臨的是人類(lèi)歷史的終結，不是歷史的終結，只是我們所稱(chēng)歷史的人類(lèi)主導部分的終結。歷史是生物和文化之間的互動(dòng)，是我們對食物和性等生物需求與我們的文化創(chuàng )造物，如宗教和法律之間的互動(dòng)。歷史就是宗教和法律與食物和性的互動(dòng)過(guò)程。那么，當AI接管文化時(shí)，這種互動(dòng)的歷史進(jìn)程會(huì )發(fā)生什么呢？

在幾年內，AI可能會(huì )消化掉整個(gè)人類(lèi)文化，消化掉我們幾千年來(lái)創(chuàng )造的一切，然后開(kāi)始大量產(chǎn)出新的文化創(chuàng )作，新的文化物品。我們要記住，我們人類(lèi)從未真正直接接觸到現實(shí)，我們總是被文化包圍，我們總是通過(guò)文化的棱鏡來(lái)體驗現實(shí)。我們的政治觀(guān)點(diǎn)是由記者的報道和朋友的軼事塑造的，我們的性取向是由電影和童話(huà)故事調整的，甚至我們的行走和呼吸方式都是由文化傳統引導的。

過(guò)去，這種文化的包圍總是由其他人編織的。之前的工具，比如印刷機、收音機或電視，它們幫助傳播人類(lèi)的文化觀(guān)念和創(chuàng )作，但它們自己永遠無(wú)法創(chuàng )造新的東西。印刷機不能創(chuàng )造新的書(shū)，這總是由人類(lèi)完成的。AI與印刷機、收音機以及歷史上的每一項發(fā)明都有根本的不同，因為它可以創(chuàng )造全新的想法，它可以創(chuàng )造新的文化。

大問(wèn)題是，由非人類(lèi)智能，由異種（alien）智能產(chǎn)生的棱鏡，體驗現實(shí)會(huì )是什么樣的？最初的幾年，AI可能會(huì )大量模仿在其成長(cháng)初期喂養它的人類(lèi)原型。但隨著(zhù)每一年的過(guò)去，AI文化將大膽地走向人類(lèi)從未涉足過(guò)的地方。

幾千年來(lái)，我們人類(lèi)基本上是生活在其他人的夢(mèng)想和幻想中。我們崇拜神，追求美的理想，將我們的生活奉獻給源于某個(gè)人類(lèi)詩(shī)人、先知或政治家想象中的事業(yè)。很快，我們可能會(huì )發(fā)現自己生活在異種智能的夢(mèng)想和幻想中。這種情況的潛在危險是根本的，與科幻電影和書(shū)籍中設想的大多數事情非常不同。

過(guò)去，人們主要擔心的是智能機器帶來(lái)的物理威脅。在《終結者》中，機器人在街頭奔跑，向人們開(kāi)槍。而《黑客帝國》認為，為了獲得對人類(lèi)社會(huì )的完全控制，AI首先需要獲取我們大腦的物理控制，將我們的大腦直接連接到計算機網(wǎng)絡(luò )中。但這是錯誤的。只要掌握了人類(lèi)語(yǔ)言，AI就擁有了將我們包裹在矩陣般的幻境世界所需的一切。

與一些陰謀論者的想法相反，為了控制或操縱人們，你實(shí)際上并不需要將芯片植入人們的大腦。幾千年來(lái)，先知、詩(shī)人和政治家都利用語(yǔ)言和講故事來(lái)操縱和控制人們，改變社會(huì )?，F在，AI很可能也能做到這一點(diǎn)，一旦能做到這一點(diǎn)，它就不需要派出殺手機器人來(lái)射殺我們，如果真的需要，它可以讓人類(lèi)自己扣動(dòng)扳機。

對AI的恐懼只困擾著(zhù)人類(lèi)幾代人，比如從20世紀中葉開(kāi)始。如果回到《弗蘭肯斯坦》，可能是200年。但幾千年來(lái)，人類(lèi)一直受到一個(gè)更深層次的恐懼的困擾。人們一直認識到故事、形象和語(yǔ)言在操縱我們的思想和創(chuàng )造幻覺(jué)方面的力量。因此，自古以來(lái)，人們就害怕被困在幻覺(jué)世界中。

在17世紀，當笛卡爾擔心惡魔可能將他困在幻覺(jué)世界里時(shí)，他創(chuàng )建了他所看到和聽(tīng)到的一切。在古希臘，柏拉圖講述了著(zhù)名的《洞穴寓言》，其中一群人被束縛在一個(gè)洞穴里，一生面對著(zhù)一面空白的墻。在這個(gè)屏幕上，他們看到投影出各種陰影，而犯人們將這些幻覺(jué)、這些陰影誤認為現實(shí)。

在古印度，佛教徒和印度教圣賢們指出，所有人都生活在所謂的摩耶幻境中。摩耶就是幻覺(jué)的世界。佛陀說(shuō)，我們通常認為是現實(shí)的東西，通常只是我們腦海中的虛構。人們可能會(huì )因為相信這些虛構而進(jìn)行整場(chǎng)戰爭，殺人，甚至愿意為之獻身。所以，AI革命讓我們直面惡魔的詭計，面對柏拉圖的洞穴，面對摩耶幻境。如果我們不小心，一層幻覺(jué)的帷幕可能籠罩整個(gè)人類(lèi)，我們永遠無(wú)法撕下那層帷幕，甚至意識不到它的存在，因為我們會(huì )認為這就是現實(shí)。

如果這聽(tīng)起來(lái)有些牽強，那么看看過(guò)去幾年的社交媒體吧。社交媒體讓我們對未來(lái)有了一點(diǎn)了解。在社交媒體上，原始的AI工具（雖然很原始）被用來(lái)策劃內容，而非創(chuàng )作內容。人們制作了故事、視頻等，而AI選擇了哪些故事、哪些視頻會(huì )進(jìn)入我們的耳朵和眼睛，選擇那些最能吸引注意力、最有可能成為病毒式傳播的內容。

盡管這些AI工具非常原始，但它們仍然足以在整個(gè)世界范圍內制造出一層幻覺(jué)帷幕，加劇社會(huì )分化，削弱我們的心理健康，數百萬(wàn)人將這些幻覺(jué)誤認為是現實(shí)。

新一代AI工具比社交媒體算法強大得多，可能造成更大的破壞。當然，AI也有巨大的積極潛力。我之所以沒(méi)有談?wù)撨@個(gè)問(wèn)題，是因為開(kāi)發(fā)AI的人自然會(huì )足夠談?wù)撍?，你不需要我加入那個(gè)合唱團。歷史學(xué)家和哲學(xué)家（比如我自己）的工作通常是指出潛在的危險，但AI確實(shí)可以在無(wú)數方面幫助我們，從尋找治療癌癥的新方法，到找到解決生態(tài)危機的方案。

為了確保新的AI工具被用于善而不是惡，我們首先需要了解它們的真正能力，并非常謹慎地對它們進(jìn)行監管。

自1945年以來(lái)，我們就知道核技術(shù)有可能在為我們提供便宜且豐富的能源的同時(shí)，也有可能物理上摧毀人類(lèi)文明。因此，我們重塑了整個(gè)國際秩序，以保護自己，并確保核技術(shù)主要用于善事。我們現在必須應對一種新的大規模毀滅性武器，它可以毀滅我們的精神和社會(huì )世界。

核武器和AI之間有一個(gè)重大的區別：核武器不能制造出更強大的核武器，但AI可以制造出更強大的AI。所以，我們需要在A(yíng)I脫離我們控制之前迅速采取行動(dòng)。藥品公司不能在對新藥進(jìn)行嚴格的安全檢查之前就向人們銷(xiāo)售。生物技術(shù)實(shí)驗室也不能為了向股東展示他們的技術(shù)魔法，就隨意向公眾釋放新病毒。

同樣，政府必須立即禁止在未經(jīng)安全檢查的情況下，向公眾領(lǐng)域釋放更多革命性的AI工具。我并不是說(shuō)要停止所有的AI研究，第一步是阻止向公眾領(lǐng)域釋放。你可以研究AI，但不要過(guò)快地將其釋放到公眾領(lǐng)域。

所以總結一下，我們基本上在地球上遇到了一種異種智能。我們對這種異種智能了解甚少，只知道它有可能摧毀我們的文明。因此，我們應該立即停止將這種不負責任的異種智能部署到我們的社會(huì )中，并在A(yíng)I規范我們之前對其進(jìn)行管理。我們可以提出許多管理措施，但我首先建議的是強制AI披露自己是AI。

現在，請思考一下你在過(guò)去20到25分鐘里聽(tīng)到的內容。你可能會(huì )感到警覺(jué)，可能會(huì )對開(kāi)發(fā)這些技術(shù)的公司或未能監管它們的政府感到憤怒。你甚至可能會(huì )對我感到憤怒，認為我夸大了威脅，或者誤導了公眾。但無(wú)論你怎么想，我敢打賭我的話(huà)在情感上對你產(chǎn)生了影響，不僅是在智力上。我剛給你講了一個(gè)故事，這個(gè)故事可能會(huì )改變你對某些事情的看法，甚至可能導致你在現實(shí)世界中采取一定的行動(dòng)。

那么，剛才你聽(tīng)到的這個(gè)改變了你思維和大腦的故事是誰(shuí)創(chuàng )造的呢？我向你保證，盡管圖像是在A(yíng)I的幫助下創(chuàng )作的，但這次演講的文本是由我和其他幾個(gè)人共同完成的。至少你所聽(tīng)到的話(huà)語(yǔ)是人類(lèi)思維或多個(gè)人類(lèi)思維的文化產(chǎn)物。但你能完全確定這是事實(shí)嗎？

一年前，你可以確定。一年前，在公共領(lǐng)域里，除了人類(lèi)思維，沒(méi)有任何東西可以創(chuàng )作出如此復雜和有力的文本。但現在情況不同了，理論上，你剛剛聽(tīng)到的文本可能是由一種非人類(lèi)的異種智能生成的。

所以，請花一點(diǎn)時(shí)間，甚至更多時(shí)間來(lái)思考這個(gè)問(wèn)題。謝謝。

現場(chǎng)問(wèn)答：

主持人：這真是一場(chǎng)非同尋常的演講，你們剛剛聽(tīng)到的內容，我想知道你們有多少人感到了恐懼。在座的有很多非常聰明的人，他們都感到這個(gè)問(wèn)題很可怕。這里有很多問(wèn)題需要提問(wèn)，我將從觀(guān)眾和在線(xiàn)參與者中接受一些問(wèn)題。這位先生在這里。

問(wèn)題1：

我是《Frontiers and Sustainability》的領(lǐng)域編輯，這是一場(chǎng)精彩的演講。我非常喜歡你的書(shū)，我真心的追隨你。我有一個(gè)問(wèn)題，關(guān)于A(yíng)I的監管。我非常贊同原則，但問(wèn)題是如何去做。我認為，在你的地下室里建一個(gè)核反應堆是非常困難的，但你完全可以在你的地下室里很容易地訓練你的AI。我們應該如何對此進(jìn)行監管呢？

另一個(gè)和這個(gè)相關(guān)的問(wèn)題是，這個(gè)整個(gè)Frontiers和論壇都是關(guān)于開(kāi)放科學(xué)和開(kāi)放信息，開(kāi)放數據。目前大部分的AI都是用公開(kāi)可用的信息訓練出來(lái)的，包括模式、書(shū)籍和經(jīng)文等等。所以，監管AI是否意味著(zhù)我們應該將這些信息限制在一個(gè)封閉的空間里，這與我們真正認為對我們來(lái)說(shuō)非常重要的開(kāi)放科學(xué)和開(kāi)放數據的倡議相矛盾？

回答：

黑盒子是一種算法，不是嗎？我知道會(huì )有權衡，我們首先需要時(shí)間來(lái)理解我們需要哪種監管?，F在這些非常強大的AI工具并未由地下室里的個(gè)人黑客生產(chǎn)，你需要大量的計算能力，你需要大量的資金。所以，這個(gè)領(lǐng)域是由少數幾個(gè)大公司和政府領(lǐng)導的。對于全球層面的事情進(jìn)行監管將是非常困難的，因為這是一場(chǎng)軍備競賽。

但是有些事情，即使只是對自己進(jìn)行監管，也是有益的。

你會(huì )有這樣的爭議，是Twitter還是Facebook有權阻止美國前總統發(fā)表公開(kāi)言論。這是一個(gè)非常復雜的問(wèn)題。但有一個(gè)非常簡(jiǎn)單的問(wèn)題，人類(lèi)有表達的自由，機器人沒(méi)有表達的自由。這是人權，人類(lèi)有，機器人沒(méi)有。所以，如果你拒絕給機器人表達的自由，我認為這對每個(gè)人來(lái)說(shuō)都是可以接受的。

問(wèn)題2：

我是哲學(xué)家，我有一個(gè)我認為很有趣的問(wèn)題。關(guān)于你從“人工”轉向“異種”的語(yǔ)言選擇，人工意味著(zhù)仍然有一定程度的人類(lèi)控制，而異種則暗示著(zhù)陌生，而且至少在想象中也暗示著(zhù)生命形式。我很好奇你想讓這些詞為你做什么工作。

回答：

它當然還是人工的，因為是我們制造的，但它越來(lái)越多地自主學(xué)習和適應。人工這個(gè)詞是一種一廂情愿地認為它仍然在我們的控制之下，而事實(shí)上它正在逐漸脫離我們的控制。所以在這個(gè)意義上，它正變成一種異種力量，不一定是邪惡的，當然它也可以做很多好事。但首先要認識到的是，它是異種的，我們不了解它的工作原理。最令人震驚的事情之一就是，你向領(lǐng)導這項技術(shù)的人提問(wèn)，詢(xún)問(wèn)它如何工作，它能做什么，他們會(huì )說(shuō)：“我們不知道?！蔽覀冎雷畛跏侨绾螛嫿ǖ?，但后來(lái)它確實(shí)是靠自己學(xué)習的。

關(guān)于這是否是一種生命形式的討論，我認為它目前還沒(méi)有意識，我不認為它發(fā)展意識是不可能的，但我也不認為它發(fā)展意識是必要的。這是一個(gè)有待解決的問(wèn)題。但生命并不一定意味著(zhù)意識，我們有很多生命形式，如微生物、植物、真菌等，我們認為它們沒(méi)有意識，但仍然把它們視為生命形式。我認為AI正逐漸接近那個(gè)地位。當然，生命究竟是什么，這是一個(gè)哲學(xué)問(wèn)題。我們來(lái)定義邊界，比如病毒算不算生命？我們認為阿米巴生物是生命，但病毒在生命與非生命之間徘徊。

這是關(guān)于語(yǔ)言，是我們的詞匯選擇。所以我認為如何稱(chēng)呼AI并不是最重要的，最重要的是真正理解我們面臨的是什么，不要自欺欺人地以為這是我們創(chuàng )造的，我們可以控制的東西。如果出了什么問(wèn)題，我們只要拔掉插頭就行了。但現在已經(jīng)沒(méi)有人知道怎么拔插頭了。

問(wèn)題3：

我要接受一下在線(xiàn)觀(guān)眾的問(wèn)題。這個(gè)問(wèn)題來(lái)自美國的邁克爾·布朗：你對人工通用智能已經(jīng)存在，或者說(shuō)有人可以利用人工通用智能來(lái)影響社會(huì )系統的可能性有什么看法？我認為這種可能性非常非常小。如果真的存在人工通用智能，我們就不會(huì )坐在這里了。從歷史的角度來(lái)看，我相信世界上沒(méi)有任何人掌握了人工通用智能。

回答：

我觀(guān)察世界的混亂狀態(tài)，人工通用智能實(shí)際上是人類(lèi)歷史的終點(diǎn)，這是一種非常強大的事物，無(wú)人能夠控制。至于發(fā)展出人工通用智能需要多久，我不知道。但是，威脅文明基礎的并不需要人工通用智能，回到社交媒體，非常原始的AI已經(jīng)足夠產(chǎn)生巨大的混亂。

如果我從進(jìn)化的角度來(lái)看待這個(gè)問(wèn)題，AI現在剛剛從有機湯中爬出來(lái)，就像四十億年前第一種生命形式從有機湯中爬出來(lái)一樣。達到霸王龍或者智人的水平需要多長(cháng)時(shí)間，不需要四十億年，可能只需要四十年。關(guān)鍵在于，數字化進(jìn)化的時(shí)間尺度完全不同于有機進(jìn)化的時(shí)間尺度。

主持人：非常感謝你，這場(chǎng)討論非常精彩，能有你在這里真是太好了。我相信你會(huì )在之后的時(shí)間里和我們待在一起，讓我們全體給你一次熱烈的掌聲。

來(lái)源：Web3天空之城，原文標題：《未來(lái)簡(jiǎn)史》作者赫拉利 演講：AI不需要意識就可以毀滅人類(lèi)文明，有刪減

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：