當今世界，Yann LeCun 、Geoffrey Hinton 以及 Yoshua Bengio 三位科學(xué)家并稱(chēng)為深度學(xué)習三巨頭。值得注意的是，三巨頭之中，LeCun 對于 AI 發(fā)展所持的態(tài)度是最為樂(lè )觀(guān)的。

此前在馬斯克提出「人工智能給人類(lèi)文明帶來(lái)了潛在風(fēng)險」時(shí)，LeCun 曾公開(kāi)反駁，認為人工智能遠未發(fā)展到給人類(lèi)構成威脅的程度。

關(guān)于 AI 接下來(lái)該如何發(fā)展，在今天上午于北京舉行的 2023 智源人工智能大會(huì )上，他發(fā)表了名為《走向能夠學(xué)習、推理和規劃的大模型》的演講，表達了系統的思考。

(相關(guān)資料圖)

法國當地時(shí)間凌晨四點(diǎn)，LeCun 從法國的家中連線(xiàn)智源大會(huì )的北京現場(chǎng)。盡管 OpenAI 的 GPT 路線(xiàn)風(fēng)頭正盛，許多人認為大語(yǔ)言模型將通往 AGI，LeCun 卻直言不諱：需要放棄生成模型、強化學(xué)習方法這樣的主流路線(xiàn)。

他認為，基于自監督的語(yǔ)言模型無(wú)法獲得關(guān)于真實(shí)世界的知識。盡管語(yǔ)言生成的內容質(zhì)量一直提升，但是這些模型在本質(zhì)上是不可控的。對于語(yǔ)言模型的局限性理解，也基于他此前的一個(gè)基本觀(guān)點(diǎn)：人類(lèi)有許多知識是目前無(wú)法被語(yǔ)言系統所觸達的。

因此，想讓 AI 獲得如人一般對真實(shí)世界學(xué)習、應對和規劃的能力，他展示了自己在一年前所發(fā)表的論文中提出的架構「自主智能」(autonomous intelligence）。

這是由一個(gè)配置模塊控制整個(gè)系統，基于輸入信息，進(jìn)行預測、推理、決策的架構。其中的「世界模塊」具有估計缺失信息、預測未來(lái)外界狀態(tài)的能力。

極客公園團隊在智源大會(huì )現場(chǎng)觀(guān)看了這場(chǎng)演講，以下為核心觀(guān)點(diǎn)精彩摘要以及經(jīng)過(guò)編輯的演講內容。

LeCun 核心觀(guān)點(diǎn)精彩摘要：

AI 的能力距離人類(lèi)與動(dòng)物的能力，還有差距——差距主要體現在邏輯推理和規劃，大模型目前只能「本能反應」。

什么是自監督學(xué)習？自監督學(xué)習是捕捉輸入中的依賴(lài)關(guān)系。訓練系統會(huì )捕捉我們看到的部分和我們尚未看到的部分之間的依賴(lài)關(guān)系。

目前的大模型如果訓練在一萬(wàn)億個(gè) token 或兩萬(wàn)億個(gè) token 的數據上，它們的性能是驚人的。我們很容易被它的流暢性所迷惑。但最終，它們會(huì )犯很愚蠢的錯誤。它們會(huì )犯事實(shí)錯誤、邏輯錯誤、不一致性，它們的推理能力有限，會(huì )產(chǎn)生有害內容。由此大模型需要被重新訓練。

如何讓 AI 能夠像人類(lèi)一樣能真正規劃？可以參考人類(lèi)和動(dòng)物是如何快速學(xué)習的——通過(guò)觀(guān)察和體驗世界。

Lecun 認為，未來(lái) AI 的發(fā)展面臨三大挑戰，并由此提出「世界模型（World Model）」。

很抱歉我不能親自到場(chǎng)，已經(jīng)很久沒(méi)有去中國了。

今天我將談一下我眼中的人工智能的未來(lái)。我會(huì )分享一下 AI 在未來(lái)十年左右的方向，以及目前的一些初步結果，但還沒(méi)有完整的系統。

本質(zhì)上來(lái)說(shuō)，人類(lèi)和動(dòng)物的能力和今天我們看到的AI的能力之間，是有差距的。簡(jiǎn)單來(lái)說(shuō)，機器學(xué)習和人類(lèi)動(dòng)物相比并不特別好。AI 缺失的不僅僅是學(xué)習的能力，還有推理和規劃的能力。

過(guò)去幾十年來(lái)，我們一直在使用監督學(xué)習，這需要太多的標注。強化學(xué)習效果不錯，但需要大量的實(shí)驗。最近幾年，我們更多使用機器自我監督，但結果是，這些系統在某種程度上是專(zhuān)業(yè)化和脆弱的。它們會(huì )犯愚蠢的錯誤，它們不會(huì )推理和規劃，它們只是快速地反應。

那么，我們如何讓機器像動(dòng)物和人類(lèi)一樣理解世界的運作方式，并預測其行動(dòng)的后果？是否可以通過(guò)無(wú)限步驟的推理執行鏈，或者將復雜任務(wù)分解為子任務(wù)序列來(lái)規劃復雜任務(wù)？

這是我今天想講的話(huà)題。

但在此之前，我想先談一下什么是自我監督學(xué)習？自我監督學(xué)習是捕捉輸入中的依賴(lài)關(guān)系。在最常見(jiàn)的范例中，我們遮蓋輸入的一部分后將其反饋送到機器學(xué)習系統中，然后揭曉其余的輸入——訓練系統會(huì )捕捉看到的部分和尚未看到的部分之間的依賴(lài)關(guān)系。有時(shí)是通過(guò)預測缺失的部分來(lái)完成的，有時(shí)不完全預測。

這種方法在自然語(yǔ)言處理的領(lǐng)域取得了驚人的成功（如翻譯、文本分類(lèi)）。最近大模型的所有成功都是這個(gè)想法的一個(gè)版本。

同樣成功的是生成式人工智能系統，用于生成圖像、視頻或文本。在文本領(lǐng)域這些系統是自回歸的。自監督學(xué)習的訓練方式下，系統預測的不是隨機缺失的單詞，而是僅預測最后一個(gè)單詞。系統不斷地預測下一個(gè)標記，然后將標記移入輸入中，再預測下一個(gè)標記，再將其移入輸入中，不斷重復該過(guò)程。這就是自回歸 LLM。

這就是我們在過(guò)去幾年中看到的流行模型所做的事情：其中一些來(lái)自 Meta 的同事，包括開(kāi)源的 BlenderBot、Galactica、LLaMA、Stanford 的 Alpaca（Lama 基于 LLaMA 的微調版）、Google 的 LaMDA 、Bard、DeepMind 的 Chinchilla，當然還有 OpenAI 的 ChatGPT 和 GPT-4。如果你將這些模型訓練在一萬(wàn)億個(gè) Token 或兩萬(wàn)億個(gè) Token 的數據上，它們的性能是驚人的。但最終，它們會(huì )犯很愚蠢的錯誤。它們會(huì )犯事實(shí)錯誤、邏輯錯誤、不一致性，它們的推理能力有限，會(huì )產(chǎn)生有害內容。

因為它們沒(méi)有關(guān)于基礎現實(shí)的知識，它們純粹是在文本上進(jìn)行訓練的。這些系統在作為寫(xiě)作輔助工具、幫助程序員編寫(xiě)代碼方面非常出色。但是它們可能會(huì )產(chǎn)出虛構的故事或者制造幻覺(jué)。

我同事給我開(kāi)了一個(gè)玩笑。他們說(shuō)，你知道 Yann Lecun（楊立昆）去年發(fā)行了一張說(shuō)唱專(zhuān)輯嗎？我們聽(tīng)了一下（AI 根據這個(gè)想法生成的假專(zhuān)輯），當然這是不真實(shí)的，但如果您要求它這樣做，它會(huì )這樣做。目前的研究重點(diǎn)是，如何讓這些模型系統能夠調用搜索引擎、計算器、數據庫查詢(xún)等這類(lèi)工具。這被稱(chēng)為擴展語(yǔ)言模型。

我和我的同事合作撰寫(xiě)過(guò)一篇關(guān)于擴展語(yǔ)言模型的論文。我們很容易被它們的流暢性所迷惑，認為它們很聰明，但它們實(shí)際上并不那么聰明。它們非常擅長(cháng)檢索記憶，但它們沒(méi)有任何關(guān)于世界運作方式的理解。這種自回歸的生成，存在一種主要缺陷。

如果我們想象所有可能答案的集合，即標記序列的樹(shù)（tree），在這個(gè)巨大的樹(shù)中，有一個(gè)小的子樹(shù)對應于給定提示的正確答案。因此，如果我們想象任何產(chǎn)生標記的平均概率 e 都會(huì )將我們帶出正確答案集合的集合，而且產(chǎn)生的錯誤是獨立的，那么它們可能會(huì )看到 n 的答案的相似度是（1-e）的 n 次方。這意味著(zhù)會(huì )存在一個(gè)指數級的發(fā)散過(guò)程將我們帶出正確答案的樹(shù)。這就是自回歸的預測過(guò)程造成的。除了使 e 盡可能小之外，沒(méi)有其他修復方法。

因此，我們必須重新設計系統，使其不會(huì )這樣做。這些模型必須重新訓練。

那么如何讓 AI 能夠像人類(lèi)一樣能真正規劃？我們先來(lái)看人類(lèi)和動(dòng)物是如何能夠快速學(xué)習的。

我們看到嬰兒在生命的前幾個(gè)月內掌握了大量關(guān)于世界運作方式的基礎概念：如物體永恒性、世界是三維的、有機和無(wú)機物體之間的區別、穩定性的概念、自然類(lèi)別的學(xué)習以及重力等非?；镜母拍?。嬰兒在 9 個(gè)月左右就能會(huì )這些。

根據我同事制作的圖表，如果您向 5 個(gè)月大的嬰兒展示下面左下角的場(chǎng)景，其中一個(gè)小汽車(chē)在平臺上，你將小汽車(chē)從平臺上推下來(lái)，它似乎漂浮在空中，5 個(gè)月大嬰兒不會(huì )感到驚訝。但是 10 個(gè)月大的嬰兒會(huì )非常驚訝，因為在此期間，嬰兒已經(jīng)知道了物體不應該停留在空中，它們應該在重力下下落。這些基本概念是通過(guò)觀(guān)察世界和體驗世界來(lái)習得的。我認為我們應該用機器復制這種通過(guò)觀(guān)察世界或體驗世界學(xué)習世界運作方式的能力。

我們有流利的系統，可以通過(guò)法律考試或醫學(xué)考試，但我們沒(méi)有可以清理餐桌并填滿(mǎn)洗碗機的家庭機器人，對吧？這是任何孩子都可以在幾分鐘內學(xué)會(huì )的事情。但我們仍然沒(méi)有機器可以接近這樣做。

我們顯然在當前擁有的 AI 系統中缺少了非常重要的東西。我們遠遠沒(méi)有達到人類(lèi)水平的智能，那么我們該如何做到這一點(diǎn)？實(shí)際上，我已經(jīng)確定了未來(lái)幾年 AI 面臨的三個(gè)主要挑戰。

首先是學(xué)習世界的表征和預測模型，當然可以采用自我監督的方式進(jìn)行學(xué)習。

其次是學(xué)習推理。這對應著(zhù)心理學(xué)家丹尼爾·卡尼曼的系統 1 和系統 2 的概念。系統 1 是與潛意識計算相對應的人類(lèi)行為或行動(dòng)，是那些無(wú)需思考即可完成的事情；而系統 2 則是你有意識地、有目的地運用你的全部思維力去完成的任務(wù)。目前，人工智能基本上只能實(shí)現系統 1 中的功能，而且并不完全；

最后一個(gè)挑戰則是如何通過(guò)將復雜任務(wù)分解成簡(jiǎn)單任務(wù)，以分層的方式運行來(lái)規劃復雜的行動(dòng)序列。

所以大約一年前，我發(fā)布了一篇論文，是關(guān)于我認為未來(lái) 10 年人工智能研究應該走向的愿景，你可以去看一下，內容基本上是你們在這個(gè)演講中聽(tīng)到的提議。在我提出的這個(gè)系統中，核心是世界模型（World Model）。世界模型可以為系統所用，它可以想象一個(gè)場(chǎng)景，基于這樣的場(chǎng)景作為依據，預測行動(dòng)的結果。因此，整個(gè)系統的目的是找出一系列根據其自己的世界模型預測的行動(dòng)，能夠最小化一系列成本的行動(dòng)序列。

（編者注：有關(guān) Lecun 關(guān)于世界模型的論述，感興趣的讀者可以自行搜索 Lecun 的這篇論文《A Path Towards Autonomous Machine Intelligence》。）

問(wèn)答環(huán)節 Q & A：

提問(wèn)人：朱軍｜清華大學(xué)教授，智源首席科學(xué)家

Q：生成式模型通常將輸出定義為多個(gè)選擇的概率。當我們應用這些生成模型時(shí)，我們通常也希望它們擁有創(chuàng )造力，產(chǎn)生多樣化的結果。這是否意味著(zhù)這些模型實(shí)際上無(wú)法避免事實(shí)錯誤或邏輯的不一致性呢？即使您擁有平衡的數據，因為在許多情況下，數據會(huì )產(chǎn)生沖突的影響，對嗎？您之前提到了輸出的不確定性，您對此有何看法？

A：我認為，通過(guò)保留自回歸生成來(lái)解決自回歸預測模型生成模型的問(wèn)題是不可行的。這些系統本質(zhì)上是不可控的。所以，它們將必須被我提出的那種架構所取代，在推理過(guò)程中，你需要讓系統優(yōu)化某種成本和某些準則。這是使它們可控、可操縱和可規劃的唯一方法。這樣的系統將能夠計劃其回答。

就像我們像現在這樣講話(huà)，我們都會(huì )計劃講話(huà)的過(guò)程，怎樣從一個(gè)觀(guān)點(diǎn)到另一個(gè)觀(guān)點(diǎn)，怎么解釋事物，這些都在你的腦海里。當我們設計演講時(shí)，不是一字一句地即興發(fā)揮。也許在低層次上，我們在即興發(fā)揮，但在高層次上，我們一定是在規劃。

所以規劃的必要性是非常明顯的。人類(lèi)和許多動(dòng)物都具備規劃能力，我認為這是智能的一項重要特征。所以我的預測是，在相對短的幾年內，理智的人肯定不會(huì )再使用自回歸元素。這些系統將很快被放棄，因為它們是無(wú)法修復的。

Q：您之后將參與一個(gè)辯論，探討人工智能會(huì )不會(huì )成為人類(lèi)生存的威脅。

參會(huì )者還有 Yoshua Bengio，Max Tegmark 和 Melanie Mitchell。您能講講您屆時(shí)將闡述什么觀(guān)點(diǎn)嗎？

A：在這場(chǎng)辯論中，Max Tegmark 和 Yoshua Bengio 將站在「是」的一邊，認為強大的 AI 系統可能對人類(lèi)構成存在風(fēng)險。而我和 Melanie Mitchell 將站在「否」的一邊。我們的論點(diǎn)不是說(shuō)沒(méi)有風(fēng)險，而是這些風(fēng)險雖然存在，但通過(guò)謹慎的工程設計可以輕易地加以減輕或抑制。

我對此的論點(diǎn)是，今天問(wèn)人們是否能夠使超智能系統對人類(lèi)安全，這個(gè)問(wèn)題無(wú)法回答，因為我們還沒(méi)有超智能系統。所以，直到你能基本設計出超智能系統，你才能討論如何讓它變得安全。

這就好比你在 1930 年問(wèn)一位航空工程師，你能使渦噴發(fā)動(dòng)機安全可靠嗎？工程師會(huì )說(shuō)，什么是渦噴發(fā)動(dòng)機？因為渦噴發(fā)動(dòng)機在 1930 年還沒(méi)有被發(fā)明出來(lái)，對吧？所以，我們處于一種有點(diǎn)尷尬的境地?，F在，宣稱(chēng)我們無(wú)法使這些系統安全還為時(shí)過(guò)早，因為我們還沒(méi)有發(fā)明出它們。一旦我們發(fā)明了它們，或許就是按照我所提出的設計藍圖，再討論如何使它們安全也許是值得的。

本文作者：凌梓郡、Li Yuan，來(lái)源：極客公園，原文標題：《深度學(xué)習三巨頭之一 Yann LeCun：大語(yǔ)言模型帶不來(lái) AGI》

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：