杰弗里·辛頓（Geoffrey Hinton）被公認是人工智能的教父，數十年前他就支持和推動(dòng)了機器學(xué)習，隨著(zhù)像ChatGPT這樣的聊天機器人引起廣泛關(guān)注，CBS的主持人于2023年3月初在多倫多的Vector研究所采訪(fǎng)了Hinton。

全長(cháng)40分鐘的采訪(fǎng)視頻最近放了出來(lái)。整個(gè)采訪(fǎng)干貨滿(mǎn)滿(mǎn)，非常精彩。作者對采訪(fǎng)內容進(jìn)行了翻譯整理，和大家分享。

問(wèn)：您如何描述當前AI機器學(xué)習領(lǐng)域的時(shí)刻？

(資料圖)

答：我認為這是一個(gè)關(guān)鍵時(shí)刻。ChatGPT表明，這些大型語(yǔ)言模型可以做一些令人驚奇的事情。普通公眾突然開(kāi)始關(guān)注這個(gè)領(lǐng)域，因為微軟發(fā)布了一些產(chǎn)品，他們突然意識到了大公司在過(guò)去五年里所知道的東西。

問(wèn)：你第一次使用ChatGPT時(shí)的想法是什么？?

答：在ChatGPT前，我已經(jīng)使用了許多類(lèi)似的東西，所以ChatGPT并沒(méi)有讓我感到驚訝。GPT-2（這是早期的一種語(yǔ)言模型）讓我驚訝，谷歌的一個(gè)模型也讓我驚訝，它實(shí)際上可以解釋為什么一個(gè)笑話(huà)很好笑。它用自然語(yǔ)言告訴你為什么一個(gè)笑話(huà)很好笑。當然，并非所有笑話(huà)都可以，但對于很多笑話(huà)，它都可以告訴你為什么它們好笑。

問(wèn)：如果ChatGPT并不那么令人驚訝或令人印象深刻，那么您對公眾對它的反應感到驚訝嗎？因為反應很大。?

答：是的，我認為每個(gè)人都有點(diǎn)驚訝于反應如此之大。這是最快增長(cháng)的應用程序。也許我們不應該感到驚訝，但研究人員已經(jīng)習慣于這些東西實(shí)際上是有效的。

問(wèn)：你在A(yíng)I領(lǐng)域一直處于領(lǐng)先地位，半個(gè)世紀都領(lǐng)先于其他人，對嗎？?

答：其實(shí)不然。在A(yíng)I領(lǐng)域，有兩種思路。一種是主流AI，另一種是關(guān)于神經(jīng)網(wǎng)絡(luò )的。主流AI認為，AI是關(guān)于推理和邏輯的，而神經(jīng)網(wǎng)絡(luò )則認為，我們最好研究生物學(xué)，因為那些才是真正有效的東西。所以，主流AI基于推理和邏輯制定理論，而我們基于神經(jīng)元之間的連接變化來(lái)學(xué)習制定理論。從長(cháng)遠來(lái)看，我們取得了成功，但短期內看起來(lái)有點(diǎn)無(wú)望。

問(wèn)：回顧過(guò)去，了解你現在所知道的，你認為當時(shí)你是否可以說(shuō)服人們？

答：我當時(shí)可以說(shuō)，但那并不能說(shuō)服人們。我可以說(shuō)，神經(jīng)網(wǎng)絡(luò )在20世紀80年代沒(méi)有真正奏效的唯一原因是計算機運行速度不夠快，數據集不夠大。然而，在80年代，一個(gè)重要的問(wèn)題是，一個(gè)擁有大量神經(jīng)元的大型神經(jīng)網(wǎng)絡(luò )，計算節點(diǎn)和它們之間的連接，僅通過(guò)改變連接的強度，從數據中學(xué)習，而沒(méi)有先驗知識，這是否可行？主流AI的人認為這完全荒謬。盡管這聽(tīng)起來(lái)有點(diǎn)荒謬，但它確實(shí)有效。

問(wèn)：您是如何知道或為什么相信這種方法會(huì )奏效的？?

答：因為大腦就是這樣。你必須解釋我們是如何做到這些事情的，以及我們是如何做到那些我們沒(méi)有進(jìn)化出來(lái)的事情的，比如閱讀。閱讀對我們來(lái)說(shuō)是非常新近的，我們沒(méi)有足夠的進(jìn)化時(shí)間來(lái)適應它。但我們可以學(xué)會(huì )閱讀，我們可以學(xué)會(huì )數學(xué)。所以一定有一種在這些神經(jīng)網(wǎng)絡(luò )中學(xué)習的方法。

問(wèn)：昨天，曾與您共事的Nick告訴我們，您并不是真正對創(chuàng )建AI感興趣，您的核心興趣是理解大腦是如何工作的。?

答：是的，我真的想了解大腦是如何工作的。顯然，如果你關(guān)于大腦工作原理的錯誤理論帶來(lái)了好的技術(shù)，你可以利用這一點(diǎn)來(lái)獲得資助。但我真的想知道大腦是如何工作的。我認為目前人工神經(jīng)網(wǎng)絡(luò )與大腦實(shí)際工作原理之間存在一定的分歧。我認為它們現在走的是不同的道路。

問(wèn)：那么我們現在還沒(méi)有采取正確的方法？

答：這是我的個(gè)人觀(guān)點(diǎn)。

問(wèn)：但所有大型模型現在都使用一種叫做反向傳播的技術(shù)，而這種技術(shù)是您幫助推廣的。

答：我認為大腦并不是在做這個(gè)。有兩條通往智能的不同道路。一條是生物學(xué)途徑，另一條是我們所擁有的模擬硬件途徑。我們必須用自然語(yǔ)言進(jìn)行溝通，還要向人們展示如何做事情，模仿等。但我們在交流方面做得很糟糕，與現在運行在數字計算機上的計算機模型相比，我們的交流能力差得多。計算機模型之間的溝通帶寬非常大，因為它們是相同模型的克隆，運行在不同的計算機上。正因為如此，它們可以查看大量的數據，因為不同的計算機可以查看不同的數據，然后它們結合了它們所學(xué)到的東西，遠遠超出了任何人能夠理解的范圍。盡管如此，我們仍然比它們聰明。

問(wèn)：所以它們就像是天才白癡嗎？

答：對，ChatGPT知道的比任何一個(gè)人都多。如果有一個(gè)關(guān)于知識量的比賽，它會(huì )輕松擊敗任何一個(gè)人。它在智力競賽中表現出色，可以寫(xiě)詩(shī)，但在推理方面并不擅長(cháng)。我們在推理方面做得更好。我們必須從更少的數據中提取我們的知識。我們有100萬(wàn)億個(gè)連接，其中大部分是通過(guò)學(xué)習得到的，但我們只活了十億秒，這并不算很長(cháng)的時(shí)間。像ChatGPT樣的東西，它們在許多不同的計算機上運行了比我們更長(cháng)的時(shí)間，吸收了所有這些數據。

問(wèn)：1986年，您在《自然》雜志上發(fā)表了一篇文章，提出了一個(gè)想法：我們將擁有一個(gè)由單詞組成的句子，并預測最后一個(gè)單詞。

答：是的，那是第一個(gè)語(yǔ)言模型，基本上就是我們現在在做的事情。1986年是很久以前的事情了。

問(wèn)：為什么那時(shí)候人們還沒(méi)有說(shuō)“哦，好吧，我認為他找到了方法”？

答：因為那時(shí)候，如果你問(wèn)我用多少數據訓練了那個(gè)模型，我有一個(gè)簡(jiǎn)單的家庭關(guān)系模型，有112個(gè)可能的句子，我用其中的104個(gè)進(jìn)行了訓練，然后檢查它是否正確預測了最后8個(gè)。它在預測最后8個(gè)方面表現得相當好，比符號AI更好。問(wèn)題是那時(shí)候的計算機還不夠強大?，F在的計算機速度快了數百萬(wàn)倍，可以進(jìn)行數百萬(wàn)倍的計算。我做了一個(gè)小計算，如果我拿1986年的計算機去學(xué)習一些東西，它現在仍在運行，但還沒(méi)有完成?，F在，學(xué)習這些東西只需要幾秒鐘。

問(wèn)：你知道這是你的制約因素嗎？

答：我并不知道，但我相信那可能是我們的制約因素。但人們對這樣的說(shuō)法嗤之以鼻，好像這是一個(gè)借口：“如果我有更大的計算機和更多的數據，一切都會(huì )好起來(lái)?，F在它不起作用是因為我們沒(méi)有足夠的數據和計算能力?！边@種觀(guān)點(diǎn)被當作對事物無(wú)法正常運作的一種狡辯。

問(wèn)：在90年代從事這項工作很困難嗎？

答：在90年代，計算機在不斷發(fā)展，但是那時(shí)確實(shí)有其他學(xué)習技術(shù)，在小型數據集上表現得和神經(jīng)網(wǎng)絡(luò )一樣好，而且更容易解釋?zhuān)澈笥懈鼮閺碗s的數學(xué)理論。所以，在計算機科學(xué)領(lǐng)域，人們對神經(jīng)網(wǎng)絡(luò )失去了興趣。但在心理學(xué)領(lǐng)域，他們仍然對神經(jīng)網(wǎng)絡(luò )感興趣，因為心理學(xué)家對人類(lèi)可能如何學(xué)習感興趣，這些其他技術(shù)甚至比反向傳播還不合理。

問(wèn)：這是您背景的一個(gè)有趣部分，您之所以投身于這個(gè)領(lǐng)域，并非因為對計算機感興趣，而是因為對大腦感興趣。

答：是的，我原本對心理學(xué)感興趣，后來(lái)我決定，如果不了解大腦，我們永遠無(wú)法理解人類(lèi)。在70年代，有一種時(shí)髦的觀(guān)點(diǎn)認為，你可以在不關(guān)心大腦的情況下做到這一點(diǎn)，但我覺(jué)得那是不可能的。你必須了解大腦是如何運作的。

問(wèn)：現在我們快進(jìn)到2000年代，您回顧過(guò)去，是否認為有一個(gè)關(guān)鍵時(shí)刻，當時(shí)您覺(jué)得我們這一方將在這場(chǎng)爭論中獲勝？

答：大約在2006年，我們開(kāi)始做所謂的深度學(xué)習。在那之前，讓具有多層表示的神經(jīng)網(wǎng)絡(luò )學(xué)會(huì )復雜事物一直很困難。我們找到了更好的方法來(lái)實(shí)現這一點(diǎn)，更好的初始化網(wǎng)絡(luò )的方法，稱(chēng)為預訓練。在ChatGPT中，P代表預訓練。T代表變換器，G代表生成。實(shí)際上，是生成模型為神經(jīng)網(wǎng)絡(luò )提供了更好的預訓練方法。2006年時(shí)，這個(gè)理念的種子已經(jīng)埋下，到了2009年，我們已經(jīng)研發(fā)出了比最好的語(yǔ)音識別器更好的東西，用與其他所有語(yǔ)音識別器不同的技術(shù)識別您說(shuō)的哪個(gè)音素。

問(wèn)：那么2012年發(fā)生了什么大事呢？

答：實(shí)際上2012年發(fā)生了兩件大事。其中一項研究始于2009年，是由我的兩名學(xué)生在暑假進(jìn)行的，他們的研究成果導致了語(yǔ)音識別的改進(jìn)。這項技術(shù)被推廣到了微軟、IBM和谷歌等大型語(yǔ)音識別實(shí)驗室。2002年，谷歌首次將其應用于產(chǎn)品，突然之間，安卓上的語(yǔ)音識別變得跟Siri一樣好，甚至更好。這是深度神經(jīng)網(wǎng)絡(luò )在語(yǔ)音識別領(lǐng)域的一個(gè)應用，比以前提前了三年。

在那個(gè)時(shí)間點(diǎn)的幾個(gè)月內，我的另外兩名學(xué)生開(kāi)發(fā)了一個(gè)物體識別系統。該系統可以查看圖像，告訴你圖像中的物體是什么，效果比以前的系統好得多。

這個(gè)系統是怎么工作的呢？有一個(gè)人叫李飛飛，和她的合作者創(chuàng )建了一個(gè)大型圖像數據庫，包含了1000個(gè)不同類(lèi)別的100萬(wàn)張圖像。你需要查看一張圖像，并對圖像中的主要物體進(jìn)行最好的猜測。所以，這些圖像通常會(huì )在中間有一個(gè)物體，比如子彈頭火車(chē)或者哈士奇之類(lèi)的東西。其他系統的錯誤率是25%，而我們的錯誤率是15%。幾年之后，15%的錯誤率降到了3%，這已經(jīng)接近人類(lèi)水平了。

讓我試著(zhù)解釋一下，讓人們理解他們的方法與其他團隊的方法之間的區別。假設你想在圖像中識別一只鳥(niǎo)。圖像本身，假設是200x200的圖像，有200x200個(gè)像素，每個(gè)像素有三個(gè)顏色值RGB。所以你在計算機里有200x200x3個(gè)數字，就是計算機里的數字。任務(wù)是將這些數字轉換成一個(gè)表示鳥(niǎo)的字符串。50年來(lái)，標準AI領(lǐng)域的人們一直試圖做到這一點(diǎn)，但沒(méi)有成功。將一堆數字轉換成一個(gè)表示鳥(niǎo)的標簽是很棘手的。

你可以這樣做：首先，你可以制作特征檢測器，檢測像素的小組合。然后在下一級別，你可能會(huì )說(shuō)，假設我有22個(gè)邊緣檢測器，它們以一個(gè)細角相連，那可能就是一只喙。然后在更高的層次上，我們可能有一個(gè)探測器，它會(huì )說(shuō)，嘿，我找到了這個(gè)類(lèi)似喙的東西，還找到了一個(gè)圓形的東西，它們在空間關(guān)系上大致是一只鳥(niǎo)的眼睛和喙。所以下一個(gè)級別，你會(huì )有一個(gè)鳥(niǎo)類(lèi)探測器，它會(huì )說(shuō)，如果我看到這兩個(gè)特征，我認為這可能是一只鳥(niǎo)。你可以想象通過(guò)手動(dòng)連接這些特征檢測器。而反向傳播的思想就是在一開(kāi)始隨機設置連接權重，然后根據預測結果調整權重。如果預測出現錯誤，那么你就通過(guò)網(wǎng)絡(luò )反向計算，并提出以下問(wèn)題：我應該如何改變這個(gè)連接強度，使其更不容易說(shuō)出錯誤答案，更容易說(shuō)出正確答案？這稱(chēng)為誤差或差異。然后，你要計算每個(gè)連接強度如何進(jìn)行微調，使其更容易得出正確答案，更不容易得出錯誤答案。

一個(gè)人會(huì )判斷這是一只鳥(niǎo)，然后將標簽提供給算法。但是反向傳播算法只是一種計算方法，用于確定如何改變每個(gè)連接強度，使其更容易說(shuō)鳥(niǎo)，更不容易說(shuō)貓。算法會(huì )不斷嘗試調整權重?，F在，如果你展示足夠多的鳥(niǎo)和貓，當你展示一只鳥(niǎo)時(shí)，它會(huì )說(shuō)鳥(niǎo)；當你展示一只貓時(shí)，它會(huì )說(shuō)貓。事實(shí)證明，這種方法比手動(dòng)連接特征檢測器要有效得多。

這就是我的學(xué)生在圖像數據庫上所做的事情。他們讓這個(gè)系統工作得非常好。這些學(xué)生非常聰明，事實(shí)上，其中一名學(xué)生，他是ChatGPT背后的主要人物之一。那是人工智能的一個(gè)巨大時(shí)刻，他實(shí)際上參與了這兩個(gè)項目。

你可以想象，當你調整這個(gè)小旋鈕時(shí)，它會(huì )說(shuō)出“鳥(niǎo)”，這感覺(jué)就像是一個(gè)驚人的突破。這主要是因為計算機視覺(jué)領(lǐng)域的其他人認為，這些神經(jīng)網(wǎng)絡(luò )只適用于簡(jiǎn)單的任務(wù)，例如識別手寫(xiě)數字，但這并不是真正復雜的圖像，具有自然背景等。他們認為這種方法永遠不會(huì )適用于這些大型復雜圖像，但突然之間，這種方法就成功了。

值得稱(chēng)道的是，那些曾經(jīng)堅定反對神經(jīng)網(wǎng)絡(luò )的人，當看到這種方法成功時(shí)，他們做了科學(xué)家通常不會(huì )做的事情，也就是說(shuō)：“哦，它有效，我們會(huì )采用這個(gè)方法?！比藗冋J為這是一個(gè)巨大的轉變。因為他們看到這種方法比他們正在使用的方法更有效，所以他們很快就改變了立場(chǎng)。

當人們既在思考機器，也在思考我們自己的思維方式時(shí)，我們常常認為，輸入是語(yǔ)言，輸出是語(yǔ)言，那么中間一定也是語(yǔ)言。這是一個(gè)重要的誤解。實(shí)際上，這種觀(guān)點(diǎn)并不正確。如果這是真的，那么被稱(chēng)為符號人工智能的方法應該非常擅長(cháng)進(jìn)行機器翻譯，比如把英語(yǔ)轉換成法語(yǔ)。你會(huì )認為操作符號是實(shí)現這一目標的正確方法。但實(shí)際上，神經(jīng)網(wǎng)絡(luò )的效果更好。當谷歌翻譯從使用符號方法轉向神經(jīng)網(wǎng)絡(luò )時(shí)，效果大大提高了。我認為，在中間的部分，你會(huì )發(fā)現有數百萬(wàn)個(gè)神經(jīng)元，它們中的一些是活躍的，一些則不是。符號只能在輸入和輸出處找到，而不是在整個(gè)過(guò)程中。

現在，我們在多倫多大學(xué)附近，雖然并非在多倫多大學(xué)里，但在這里和世界各地的大學(xué)里，我們教育了很多人學(xué)習編碼。教這么多人編碼是否仍然有意義呢？我不知道答案是什么。在2015年左右，我曾經(jīng)聲稱(chēng)，在未來(lái)五年內，計算機將在圖像識別方面超越放射科醫生，因此教他們識別圖像中的東西已經(jīng)沒(méi)有意義了。事實(shí)證明，我的預測錯誤了，實(shí)際上需要10年，而不是5年。在精神層面上，我并沒(méi)有錯，只是時(shí)間預測出了差錯。計算機現在在很多醫學(xué)圖像識別方面與放射科醫生相當，盡管它們還沒(méi)有在所有方面做得更好，但它們只會(huì )變得更好。

因此，我認為有一段時(shí)間，我們仍然需要編碼人員。我不知道這段時(shí)間會(huì )有多長(cháng)，但我們需要的編碼人員會(huì )減少?；蛘?，我們可能需要相同數量的編碼人員，但他們將能夠實(shí)現更多的成果。

問(wèn)：我們在這里談?wù)摰氖且患页鮿?chuàng )公司，昨天我們拜訪(fǎng)了他們。你是他們的投資者，那么，什么是說(shuō)服你的投資理由呢？

答：首先，他們是好人，我曾與其中的幾位合作過(guò)。其次，他們是第一批意識到需要將Google、OpenAI等地開(kāi)發(fā)的大型語(yǔ)言模型帶給企業(yè)的公司。這對公司來(lái)說(shuō)將非常有價(jià)值，因此，他們一直在努力實(shí)現這一目標，而且在這方面取得了領(lǐng)先地位。所以，我認為他們會(huì )成功的。

問(wèn)：你曾經(jīng)提到過(guò)一個(gè)我覺(jué)得非常有趣的觀(guān)點(diǎn)，那就是未來(lái)可能會(huì )有一種新型計算機，專(zhuān)門(mén)解決這個(gè)問(wèn)題。這個(gè)觀(guān)點(diǎn)是什么？

答：我們有兩種途徑來(lái)理解智能：一種是生物途徑，其中每個(gè)大腦都是不同的，我們需要通過(guò)語(yǔ)言來(lái)在不同的大腦之間傳遞知識；另一種是目前的AI神經(jīng)網(wǎng)絡(luò )版本，你可以在不同的計算機上運行相同的模型，實(shí)際上它們可以共享連接權重，因此它們可以共享數十億個(gè)數字。

這就是我們如何讓一只鳥(niǎo)跳舞的。它們可以共享識別鳥(niǎo)的所有連接權重，一個(gè)可以學(xué)會(huì )識別貓，另一個(gè)可以學(xué)會(huì )識別鳥(niǎo)，它們可以共享它們的連接權重，這樣每個(gè)模型都可以做兩件事。這正是這些大型語(yǔ)言模型所做的，它們在共享。但這種方法只適用于數字計算機，因為它們必須能夠模擬相同的事物。而不同的生物大腦無(wú)法相互模擬，因此它們無(wú)法共享連接。

問(wèn)：為什么我們不堅持使用數字計算機呢？

答：因為電力消耗。你需要很多電力。雖然隨著(zhù)芯片的改進(jìn)，電力需求在減少，但運行數字計算機仍然需要大量的電力。你必須讓計算機以高電力運行，以便它能夠精確地以正確的方式工作。然而，如果你愿意讓計算機以較低的電力運行，比如大腦所做的那樣，你會(huì )允許一些噪聲等，但特定系統會(huì )適應該特定系統中的噪聲，整個(gè)系統將正常工作，盡管你沒(méi)有以如此高的電力運行它以便它能精確地按照你的意圖進(jìn)行工作。大腦的運行功率是30瓦，而大型AI系統需要像兆瓦這樣的功率。所以我們在30瓦上進(jìn)行訓練，而大型系統則使用兆瓦，它們有很多相同的東西。所以你知道，我們在談?wù)摴β市枨蠓矫娴?000倍差距。因此，我認為會(huì )有一個(gè)階段，我們會(huì )在數字計算機上進(jìn)行訓練，但一旦某個(gè)AI系統訓練完畢，我們會(huì )將其運行在非常低功耗的系統上。所以，如果你想讓你的烤面包機能和你對話(huà)，你需要一個(gè)只花費幾美元的芯片，而且它能運行像ChatGPT這樣的程序，那么最好是一個(gè)低功耗和低芯片。

問(wèn)：你認為接下來(lái)這項技術(shù)將做些什么，以影響人們的生活？

答：很難選一個(gè)。我認為這將無(wú)處不在。它已經(jīng)開(kāi)始無(wú)處不在了，ChatGPT只是讓很多人意識到了這一點(diǎn)。它將無(wú)處不在。但實(shí)際上，當谷歌進(jìn)行搜索時(shí)，它會(huì )使用大型神經(jīng)網(wǎng)絡(luò )來(lái)幫助決定向你展示什么最佳結果。我們現在正處于一個(gè)過(guò)渡點(diǎn)，其中ChatGPT像一個(gè)“白癡天才”，它也并不真正了解事實(shí)真相。它接受了大量不一致的數據訓練，試圖預測下一個(gè)網(wǎng)絡(luò )用戶(hù)會(huì )說(shuō)什么。人們對很多事情有不同的觀(guān)點(diǎn)，而它必須有一種混合所有這些觀(guān)點(diǎn)的方式，以便可以模擬任何人可能說(shuō)的話(huà)。這與一個(gè)試圖擁有一致世界觀(guān)的人非常不同，特別是如果你想在世界上采取行動(dòng)，擁有一致的世界觀(guān)是非常有益的。

我認為接下來(lái)會(huì )發(fā)生的一件事是，我們將朝著(zhù)能夠理解不同世界觀(guān)的系統發(fā)展，并且能夠理解，好吧，如果你有這個(gè)世界觀(guān)，那么這就是答案。而如果你有另一個(gè)世界觀(guān)，那么答案就是另一個(gè)。我們得到我們自己的真相。

問(wèn)：那么這個(gè)問(wèn)題是不是因為，你和我可能都相信（除非你是一個(gè)極端的相對主義者），實(shí)際上在很多話(huà)題上，甚至在大多數話(huà)題上，確實(shí)存在一個(gè)事實(shí)真相，比如地球實(shí)際上并不是平的，只是看起來(lái)平而已，對吧？

答：是的，所以我們真的想要一個(gè)模型說(shuō)，好吧，對某些人來(lái)說(shuō)，我們不知道嗎？這將是一個(gè)巨大的問(wèn)題，我們目前還不知道如何處理。目前我并不認為微軟知道如何處理這個(gè)問(wèn)題。他們也不知道。這似乎是一個(gè)巨大的治理挑戰。誰(shuí)來(lái)做這些決策？這是非常棘手的事情。你可不希望某個(gè)大型盈利公司來(lái)決定什么是真實(shí)的。但他們正在控制我們如何使用這些東西。谷歌目前非常小心，不要那樣做。谷歌會(huì )做的是將你引向相關(guān)文件，這些文件中會(huì )有各種各樣的觀(guān)點(diǎn)。

問(wèn)：那么他們還沒(méi)有發(fā)布他們的聊天產(chǎn)品，至少在我們談話(huà)的時(shí)候還沒(méi)有，對吧？

答：是的，但我們已經(jīng)看到，至少那些已經(jīng)發(fā)布聊天產(chǎn)品的人覺(jué)得有些事情他們不希望用他們的聲音說(shuō)出來(lái)，所以他們會(huì )去干預它，以免說(shuō)出冒犯人的話(huà)。是的，但這種方式你能做的事情是有限的?？倳?huì )有你想不到的事情，對吧？是的。所以我認為谷歌在發(fā)布聊天機器人時(shí)會(huì )比微軟更謹慎，并且它可能會(huì )附帶很多警告，這只是一個(gè)聊天機器人，不要一定相信它所說(shuō)的。在標簽上小心，或者在干預方式上小心，以免做出糟糕的事情。所有這些方面都要小心。在如何將其作為產(chǎn)品呈現以及如何進(jìn)行訓練方面要小心。是的。并努力防止它說(shuō)出不好的東西。但是，誰(shuí)來(lái)決定什么是壞事呢？有些壞事是相當明顯的，但是很多最重要的事情并不是那么明顯。所以，目前這是一個(gè)很大的懸而未決的問(wèn)題。我認為微軟發(fā)布ChatGPT是非常勇敢的。

問(wèn)：你是否認為這是一個(gè)更大的社會(huì )問(wèn)題，我們需要監管或大規模公共辯論來(lái)處理這些問(wèn)題？

答：當涉及到真相問(wèn)題時(shí)，我的意思是，你是否希望政府來(lái)決定什么是真實(shí)的？這是個(gè)大問(wèn)題，對吧？你也不希望政府來(lái)做這件事。我相信你已經(jīng)對這個(gè)問(wèn)題進(jìn)行了深入的思考很長(cháng)時(shí)間，我們如何在你只是將它發(fā)送到世界和我們找到策展它的方法之間找到平衡？像我說(shuō)的，我不知道答案，而且我不相信有人真的知道如何處理這些問(wèn)題。我們必須學(xué)會(huì )如何快速處理這些問(wèn)題，因為這是一個(gè)當前的大問(wèn)題。但是，關(guān)于如何完成這件事，我不知道，但我懷疑，作為第一步，至少這些大型語(yǔ)言模型必須了解到，存在不同的觀(guān)點(diǎn)，以及它所作出的補充是相對于一個(gè)觀(guān)點(diǎn)的。

問(wèn)：有些人擔心，這可能會(huì )很快蔓延開(kāi)來(lái)，我們可能無(wú)法為此做好準備。這讓你擔憂(yōu)嗎？

答：確實(shí)有點(diǎn)。直到不久前，我認為在我們擁有通用人工智能之前還需要20到50年的時(shí)間。而現在我認為可能是20年或更短時(shí)間。有些人認為可能只有5年，那是荒謬的。但現在我不會(huì )完全排除這種可能性，而幾年前，我會(huì )說(shuō)絕不會(huì )發(fā)生這種情況。

問(wèn)：有人說(shuō)AI可能對人類(lèi)構成巨大危險，因為我們不知道一個(gè)比我們聰明得多的系統會(huì )做什么。你是否也有這種擔憂(yōu)？

答：我確實(shí)有點(diǎn)擔憂(yōu)。顯然，我們需要做的是使這種技術(shù)與人類(lèi)互補，讓它幫助人們。我認為這里的主要問(wèn)題之一是我們所擁有的政治體系。即使說(shuō)美國、加拿大和一群國家表示，好的，我們將建立這些防護欄，那么你如何保證呢？特別是對于像自主致命武器這樣的事物，我們希望有類(lèi)似日內瓦公約的東西，像化學(xué)武器一樣。人們認為這些武器是如此惡心，以至于他們不再使用它們，除非有充分理由。但我認為，基本上他們不再使用這些武器。人們希望為自主致命武器達成類(lèi)似的協(xié)議，但我認為他們不太可能達成這樣的協(xié)議。

問(wèn)：這是這個(gè)問(wèn)題最尖銳的版本，你可以笑它，也可以不回答，但是你認為AI消滅人類(lèi)的幾率是多少？我們能否對此給出一個(gè)數字？

答：這個(gè)幾率介于0%和100%之間。我認為這并非不可能。就我所說(shuō)，如果我們明智的話(huà)，我們會(huì )努力發(fā)展它，以免發(fā)生這種情況。但是，令我擔憂(yōu)的是政治局勢。確保每個(gè)人都明智行事是一個(gè)巨大的政治挑戰。這似乎是一個(gè)巨大的經(jīng)濟挑戰，因為你可能會(huì )有很多個(gè)體追求正確的道路，然而，公司的利潤動(dòng)機可能不會(huì )像為他們工作的個(gè)體那樣謹慎。也許吧，我只真正了解谷歌，這是我唯一的工作公司。他們一直是最謹慎的公司之一。他們對AI非常謹慎，因為他們有一個(gè)提供你想要的答案的出色搜索引擎. 他們不想損害它。而微軟則不太關(guān)心這個(gè)問(wèn)題。如果搜索消失了，微軟可能都不會(huì )注意到。當沒(méi)有人追趕他們的時(shí)候，谷歌采取緩慢的策略是容易的。谷歌一直處于領(lǐng)先地位。Transformers是在谷歌發(fā)明的，大型語(yǔ)言模型的早期版本也是在谷歌。

問(wèn)：是的，他們抓住了這個(gè)機會(huì )。

答：他們更加保守，我認為這是正確的。但現在他們感受到了壓力。所以他們正在開(kāi)發(fā)一個(gè)名為“Bart”的系統，他們將發(fā)布該系統。他們正在對它進(jìn)行大量的測試，但我認為他們會(huì )比微軟更謹慎。

問(wèn)：你提到了自主武器。讓我給你一個(gè)機會(huì )來(lái)講述這個(gè)故事。你是如何來(lái)到加拿大的，這與你的選擇有什么關(guān)系？

答：有好幾個(gè)原因讓我來(lái)到了加拿大，其中一個(gè)原因確實(shí)是不想從美國國防部那里拿錢(qián)。那時(shí)正值里根總統執政，他們正在尼加拉瓜的港口布雷。有趣的是，我當時(shí)在匹茲堡的一個(gè)大學(xué)，我是那里為數不多的認為在尼加拉瓜港口布雷是非常錯誤的人之一。所以我覺(jué)得自己像是異類(lèi)。

問(wèn)：你看到這種類(lèi)型的工作是如何獲取資金的嗎？

答：在那個(gè)部門(mén)，幾乎所有的資金都來(lái)自美國國防部。

問(wèn)：你開(kāi)始談?wù)搶⑦@項技術(shù)應用于戰爭可能帶來(lái)的問(wèn)題，你擔憂(yōu)什么？

答：噢，我擔心美國人會(huì )試圖用AI士兵替換他們的士兵，他們正朝著(zhù)這個(gè)方向努力。

問(wèn)：你看到了什么證據？

答：我在美國國防部的一個(gè)郵件列表上。我不確定他們知不知道我在郵件列表上，這是一個(gè)很大的名單，他們沒(méi)有注意到我在那里。

問(wèn)：名單上有什么？

答：哦，他們只是描述了他們打算做的各種事情，上面有一些令人作嘔的東西。

問(wèn)：讓你感到惡心的是什么？

答：讓我感到惡心的是一個(gè)關(guān)于自愈雷區的提議。這個(gè)想法是從雷區的角度來(lái)看，當一些無(wú)知的平民闖入雷區時(shí)，他們會(huì )被炸死，導致雷區出現空缺，使得雷區無(wú)法完全發(fā)揮作用。所以他們提出讓附近的地雷進(jìn)行通信，也許地雷可以稍微移動(dòng)一下來(lái)彌補空缺，他們稱(chēng)之為自愈。而討論這種自愈的想法，對于那些會(huì )炸斷孩子雙腿的地雷來(lái)說(shuō)，實(shí)在令人作嘔。

問(wèn)：有人認為，盡管自主系統可能在某種程度上幫助戰斗員，但最終決策仍然是由人類(lèi)做出的。你擔心什么？

答：如果你想制造一種高效的自主士兵，你需要賦予它創(chuàng )造子目標的能力。換句話(huà)說(shuō)，它必須意識到類(lèi)似的事情，比如：“好吧，我想殺死那個(gè)人，但是要過(guò)去，我該怎么辦？”然后它必須意識到，如果能到達那條道路，可以更快地到達目標地點(diǎn)。所以，它有一個(gè)到達道路的子目標。一旦你賦予它創(chuàng )造子目標的能力，它就會(huì )變得更有效。像普京這樣的人會(huì )希望擁有這樣的機器人。但是，一旦它具備了創(chuàng )造子目標的能力，你就會(huì )遇到所謂的“對齊問(wèn)題”，即如何確保它不會(huì )創(chuàng )造對人類(lèi)或你自己不利的子目標。誰(shuí)知道那條路上會(huì )有什么人？誰(shuí)知道會(huì )發(fā)生什么？

問(wèn)：如果這些系統是由軍方研發(fā)的，那么將一條“永遠不要傷害人類(lèi)”的規則植入其中的想法，恐怕并不現實(shí)，因為它們本就是設計用來(lái)傷害人類(lèi)的。你看到這個(gè)問(wèn)題有什么解決辦法嗎？是條約還是什么？

答：我認為最好的辦法是類(lèi)似于《日內瓦公約》的東西，但這將非常困難。我覺(jué)得如果有大量的公眾抗議，那么可能會(huì )說(shuō)服政府采取行動(dòng)。我可以想象，在足夠的公眾抗議下，政府可能會(huì )采取某些行動(dòng)。但是，你還需要應對其他人。

問(wèn)：是的，確實(shí)如此。好的，我們已經(jīng)談了很多。我想我還有兩個(gè)問(wèn)題。還有一個(gè)問(wèn)題我想問(wèn)一下。

答：好的，你問(wèn)吧。

問(wèn)：有人說(shuō)這些大型模型只是自動(dòng)補全，這種說(shuō)法對嗎？

答：從某種程度上來(lái)說(shuō)，這些模型確實(shí)是自動(dòng)補全。我們知道這些大型語(yǔ)言模型只是預測下一個(gè)詞。這并不簡(jiǎn)單，但確實(shí)如此。它們只是預測下一個(gè)詞，所以它們只是自動(dòng)補全。但是，問(wèn)問(wèn)自己一個(gè)問(wèn)題：要準確預測下一個(gè)詞，你需要了解到目前為止所說(shuō)的內容?；旧?，你必須理解已經(jīng)說(shuō)過(guò)的話(huà)來(lái)預測下一個(gè)詞。所以你也是自動(dòng)補全，只不過(guò)與它們一樣。你可以預測下一個(gè)詞，雖然可能不如ChatGPT那么準確，但為了做到這一點(diǎn)，你必須理解句子。

讓我舉一個(gè)關(guān)于翻譯的例子。這是一個(gè)非常具有說(shuō)服力的例子。假設我要把這句話(huà)翻譯成法語(yǔ)：“獎杯太大了，它放不進(jìn)行李箱?！碑斘艺f(shuō)這句話(huà)時(shí)，你會(huì )認為“它”指的是獎杯。在法語(yǔ)中，獎杯有特定的性別，所以你知道該用什么代詞。但如果我說(shuō)：“獎杯放不進(jìn)行李箱，因為它太小了?！爆F在你認為“它”指的是行李箱，對吧？在法語(yǔ)中，行李箱的性別也不同。所以為了把這句話(huà)翻譯成法語(yǔ)，你必須知道，當它放不進(jìn)去是因為太大時(shí)，是獎杯太大；而當它放不進(jìn)去是因為太小時(shí)，是行李箱太小。這意味著(zhù)你必須了解空間關(guān)系和容納等概念。

為了進(jìn)行機器翻譯或預測那個(gè)代詞，你必須理解所說(shuō)的內容。僅僅把它當作一串單詞是不夠的。

問(wèn): 你在這個(gè)領(lǐng)域的工作經(jīng)歷比任何人都長(cháng)，你描述進(jìn)展就像是“我們有了這個(gè)想法，嘗試了一下，然后它奏效了?！彼晕覀冇辛藥资甑姆聪騻鞑?，我們有了Transformer這個(gè)想法，但還有數百種其他想法還沒(méi)有嘗試。

答：是的，我認為即使我們沒(méi)有新的想法，只是讓計算機運行得更快、獲取更多數據，這些東西也會(huì )變得更好。我們已經(jīng)看到，隨著(zhù)ChatGPT規模的擴大，使其更優(yōu)秀的并不是全新的想法，而是更多的連接和更多的訓練數據。但除此之外，還會(huì )有像變換器這樣的新想法，它們將使其運作得更好。

問(wèn)：我們離讓計算機自己想出改進(jìn)自己的方法還有多遠？

答：呃，我們可能很接近了。然后它可能會(huì )變得非?？?。這是一個(gè)問(wèn)題，對吧？我們必須認真思考如何控制這一點(diǎn)。

問(wèn)：是的，我們能做到嗎？

答：我們不知道，我們還沒(méi)有到那個(gè)地步，但我們可以嘗試。

問(wèn)：好吧，這似乎有點(diǎn)令人擔憂(yōu)。作為這個(gè)行業(yè)的教父，你是否對你帶來(lái)的這些成果感到擔憂(yōu)？

答：有一點(diǎn)。另一方面，我認為不論發(fā)生什么，這幾乎都是不可避免的。換句話(huà)說(shuō)，一個(gè)人停止研究不會(huì )阻止這種情況的發(fā)生。如果我的影響只是讓它提前一個(gè)月發(fā)生，那么這就是一個(gè)人所能做的極限了。有這個(gè)想法，我可能說(shuō)錯了，那就是短跑道和長(cháng)起飛。

問(wèn)：也許我們需要時(shí)間準備，或者也許如果它發(fā)生得很快，那么人們會(huì )在問(wèn)題上感到緊迫，而不是像現在這樣慢慢發(fā)展。你對此有什么看法？

答：我認為有時(shí)間準備是好的。所以我認為，現在就擔心這些問(wèn)題是非常合理的，盡管在接下來(lái)的一兩年內不會(huì )發(fā)生。人們應該思考這些問(wèn)題。

問(wèn)：我們還沒(méi)有談到工作崗位的替代，這是我的疏忽，對不起。這個(gè)技術(shù)是否會(huì )不斷吞噬工作，一個(gè)接一個(gè)？

答：我認為它將使工作不同，人們將從事更有創(chuàng )造性的工作，而較少從事例行工作。

問(wèn)：那么如果它可以評價(jià)詩(shī)歌和制作電影，還有什么工作算什么有創(chuàng )造性的工作？

答：如果你回顧歷史，看看自動(dòng)取款機，這些現金機出現時(shí)，人們說(shuō)這是銀行柜員的終結。但實(shí)際上，它并沒(méi)有終結銀行柜員的職位?，F在銀行柜員處理更復雜的事情，并且需要編碼人員。所以人們說(shuō)，這些工具可以進(jìn)行簡(jiǎn)單的編碼，并且通常能夠正確地執行，你只需要讓它編寫(xiě)程序，然后檢查它，這樣你就能夠快速工作10倍。你可以只用10%的程序員，或者你可以使用相同數量的程序員，生產(chǎn)10倍的東西。

我認為會(huì )有很多這樣的例子，一旦這些工具開(kāi)始有創(chuàng )造性，就會(huì )創(chuàng )造出更多的東西。這是自工業(yè)革命以來(lái)最大的技術(shù)進(jìn)步。

問(wèn)：這是另一次工業(yè)革命嗎？這是什么？人們應該如何看待它？

答：我認為它在規模上與工業(yè)革命、電力、甚至是輪子的發(fā)明相當。我在人工智能方面取得了領(lǐng)先地位有一個(gè)原因，那是因為加拿大授予機構的政策。這些機構沒(méi)有很多錢(qián)，但他們利用其中的一些資金來(lái)支持出于好奇心的基礎研究。在美國，資金是必須聲明你將會(huì )生產(chǎn)什么產(chǎn)品的。在這里，一些政府資金——相當多的資金，是給教授的，讓他們雇用研究生和其他研究人員探索他們感興趣的事物。如果他們在這方面表現出色，那么三年后他們會(huì )獲得更多的資金。這就是支持我的資金，是基于出于好奇心的基礎研究的資金。我們之前也看到過(guò)這種情況，即使幾十年來(lái)沒(méi)有能夠展示出太多的成果。

另一個(gè)發(fā)生的事情是，有一個(gè)叫做“加拿大高等研究所”的組織，為加拿大擅長(cháng)的領(lǐng)域的教授提供額外的資金，并為分布在不同地方的教授提供相互交流的資金，例如溫哥華和多倫多，也與美國、英國和以色列等其他地區的研究人員互動(dòng)。CFR在人工智能領(lǐng)域設立了一個(gè)項目，最初是在20世紀80年代建立的，這是將我帶到加拿大的項目，那時(shí)是基于符號的人工智能。

問(wèn)：哦，我知道了，你是怎么來(lái)的？

答：我很奇怪，有點(diǎn)不尋常，因為我做了一些大家都認為是無(wú)意義的東西，但他們認識到我擅長(cháng)這種“無(wú)意義”的東西，所以如果有人要做這種東西，那一定是我。我的一封推薦信寫(xiě)道：“你知道我不相信這些東西，但如果你想找一個(gè)人來(lái)做這個(gè)，就找Geoffrey吧?！痹谀莻€(gè)項目結束后，我回到英國待了幾年，然后回到加拿大，他們決定資助一個(gè)基于深度學(xué)習的項目。

問(wèn)：我認為你對“感知”的定義也有一些不滿(mǎn)意，對嗎？

答：是的，當涉及到“感知”的時(shí)候，我很驚訝人們會(huì )自信地宣稱(chēng)這些東西是沒(méi)有感知的。當你問(wèn)他們“感知”的意思是什么時(shí)，他們會(huì )說(shuō)他們不太清楚。那么如果你不知道“感知”的意思，你怎么能自信地說(shuō)它們沒(méi)有感知呢？所以也許它們已經(jīng)有感知了，誰(shuí)知道呢。我認為它們是否有感知取決于你對“感知”的定義，所以你最好在回答這個(gè)問(wèn)題之前先定義一下你對“感知”的理解。我們認為它是否有感知重要嗎，還是只關(guān)注它是否能有效地表現出有感知的狀態(tài)？

問(wèn)：這是一個(gè)非常好的問(wèn)題，很重要。那你的答案是什么？

答：我沒(méi)有答案。好吧，因為如果它沒(méi)有感知，但出于某種原因它認為它有感知，并且它需要實(shí)現與我們利益相悖的目標，但它相信它符合自己的利益，那么這真的很重要嗎？我認為一個(gè)很好的例子可以想到的是一種自主的致命武器。說(shuō)它沒(méi)有感覺(jué)這也對，但是當它在追逐你并射擊你時(shí)，你會(huì )開(kāi)始認為它有感覺(jué)。我們并不真的關(guān)心，這不再是一個(gè)重要的標準了。我們正在開(kāi)發(fā)的這種智能與我們的智能非常不同，它是某種伺候無(wú)知者的工具，它和我們不一樣。

問(wèn)：但是你的目標是讓它更像我們，你認為我們會(huì )實(shí)現這個(gè)目標嗎？

答：不是，我的目標是理解我們。我認為理解我們的方式是通過(guò)構建像我們一樣的東西。我說(shuō)過(guò)的那位物理學(xué)家理查德·費曼曾經(jīng)說(shuō)過(guò)，你不能理解一件事情，除非你能夠構建它。

問(wèn)：所以你一直在構建。

回答：所以我一直在構建。

本文來(lái)源：Web3天空之城，原文標題：《AI教父Hinton最新采訪(fǎng)萬(wàn)字實(shí)錄：ChatGPT和AI的過(guò)去現在與未來(lái)》

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：