6月10日，被譽(yù)為“深度學(xué)習教父”的Geoffrey Hinton以視頻連線(xiàn)的方式現身于中國北京舉辦的2023智源人工智能大會(huì )，談及了如何可以在未來(lái)節省算力，人類(lèi)未來(lái)應該如何控制人工智能等內容。

演講主要內容：

【資料圖】

人工神經(jīng)網(wǎng)絡(luò )很快會(huì )比真正的神經(jīng)網(wǎng)絡(luò )更強大嗎？會(huì )，且很快會(huì )發(fā)生。

算力成為了AI發(fā)展的阻礙，"activity perturbation"的算法可以用于訓練神經(jīng)網(wǎng)絡(luò )，且節省算力。

超級智能控制問(wèn)題非常重要，希望年輕一代的研究人員能夠找到解決方案，使超級智可以為人類(lèi)帶來(lái)更好的生活同時(shí)又不會(huì )剝奪人類(lèi)的控制權。

AI會(huì )欺騙人類(lèi)，且發(fā)現操縱人來(lái)獲得更多的權力很容易。x

以下為演講全文：

我想談兩個(gè)問(wèn)題，大部分篇幅將集中在第一個(gè)問(wèn)題上，那就是——人工神經(jīng)網(wǎng)絡(luò )很快會(huì )比真正的神經(jīng)網(wǎng)絡(luò )更強大嗎？就像我說(shuō)的，這可能很快就會(huì )發(fā)生。

接著(zhù)我也將談?wù)勎覀兪欠窨梢钥刂瞥壷悄蹵I。

現在A(yíng)I發(fā)展的最大壁壘是算力問(wèn)題，算力遠遠不夠不夠?，F在可以放棄計算機科學(xué)最基本的原則，那就是軟件應該與硬件分開(kāi)。

在我們放棄它之前，讓我們先看看為什么它是一個(gè)很好的原則。由于這種可分離性，我們可以在不同的硬件上運行相同的程序。我們還可以擔心程序的屬性，并在神經(jīng)網(wǎng)絡(luò )上研究程序的屬性，而不必擔心電子學(xué)。這就是為什么您可以擁有與額外的工程部門(mén)不同的計算機科學(xué)部門(mén)的原因。

當我們真的放棄了軟件和硬件的分離的原則，我將提到一種稱(chēng)為"activity perturbation"的算法，該算法可以用于訓練神經(jīng)網(wǎng)絡(luò )，且節省算力。

這種算法能夠預估梯度，且噪聲要比傳統的反向傳播算法（RNN）小得多。

如何將這種算法應用于訓練大型神經(jīng)網(wǎng)絡(luò )的問(wèn)題，我有一種解決方案——即將大型神經(jīng)網(wǎng)絡(luò )分成許多小組，并為每個(gè)小組分配一個(gè)局部目標函數。

然后，可以使用"activity perturbation"算法來(lái)訓練每個(gè)小組，并將它們組合在一起形成一個(gè)大型神經(jīng)網(wǎng)絡(luò )，并通過(guò)無(wú)監督學(xué)習模型來(lái)生成這些局部目標函數。

當硬件出現問(wèn)題時(shí)，信息都會(huì )丟失，父類(lèi)信息傳遞給子類(lèi)信息，以便在硬件出現問(wèn)題時(shí)仍然可以保留學(xué)習到的信息，更有效地約束神經(jīng)網(wǎng)絡(luò )的權重。

"distillation"這一方法可以讓子模型更好地學(xué)習到分類(lèi)圖像的信息，包括如何給出正確的答案以及給出錯誤答案的概率。"distillation"方法還有一個(gè)特殊屬性，即訓練子模型的同時(shí)也在訓練子模型的通用化能力。

如果你看一下特朗普的推文運作方式，人們感到非常沮喪，因為他們認為特朗普所說(shuō)的是虛假的話(huà)。他們認為他試圖描述的是實(shí)際情況，但實(shí)際上這些情況并沒(méi)有發(fā)生。特朗普所做的是根據一種情況作出回應，并引發(fā)了情緒化的回應。這使得他的追隨者能夠接受這種情況，并在他們的認知中調整權重。

因此，他們對這種情況做出類(lèi)似的情感反應，而與事實(shí)無(wú)關(guān)。然而，這種策略產(chǎn)生了很好的效果。

通過(guò)共享梯度或共享權重，可以更高效地共享學(xué)習到的信息，但是使用數字模型進(jìn)行權重共享非常耗費算力，因為需要制造和運行的成本都很高。

因此，"distillation"成為一種更好的選擇，可以在生物模型中使用，以共享知識。

這就是這些大型語(yǔ)言模型向人們學(xué)習的方式。所以每個(gè)副本通過(guò)蒸餾學(xué)習效率很低。但是您有成千上萬(wàn)的副本，這就是為什么他們可以比我們學(xué)習數千倍的原因。因此，我的信念是，這些大型語(yǔ)言模型比任何個(gè)人知道的要多數千倍。

現在，問(wèn)題是——會(huì )發(fā)生什么，如果這些AI不是非常緩慢地向我們學(xué)習，而是直接從現實(shí)世界中學(xué)習。我應該說(shuō)，盡管他們向我們學(xué)習時(shí)分布緩慢，但他們正在學(xué)習非常抽象的東西。因此，在過(guò)去的幾千年中，人類(lèi)學(xué)到了很多關(guān)于世界的東西，這些數字智能現在正在從中獲利。

我們可以用語(yǔ)言表達我們學(xué)到的東西。因此，他們可以捕捉人類(lèi)在過(guò)去幾千年中了解到的關(guān)于世界的一切，并將其放入文檔中，但是每個(gè)數字化的帶寬仍然非常慢，非常低，因為他們正在從文檔中學(xué)習，如果他們可以通過(guò)建模視頻來(lái)學(xué)習。

例如，如果我們一旦找到一種有效的方法來(lái)訓練這些模型來(lái)模擬視頻，他們將能夠從YouTube上學(xué)習，這是大量的數據，如果他們能夠操縱物理世界，這也將有所幫助。所以如果他們有機器人手臂等等。但是我的信念是，一旦這些數字代理開(kāi)始這樣做，他們將能夠比人們學(xué)到更多的東西，并且他們將能夠很快地學(xué)習它，所以這使我想到了我在開(kāi)始時(shí)提到的另一點(diǎn)。

如果這些東西變得比我們更聰明，就會(huì )發(fā)生什么。所以，很明顯，這就是這次會(huì )議的主要內容，但是。我的主要貢獻只是說(shuō)，我認為這些超級智能發(fā)生的速度可能比我以前想象的要快得多——美國或許多其他地方正使用它們來(lái)贏(yíng)得戰爭。

如果你想說(shuō)超級智能，更有效率。您需要允許它創(chuàng )建子類(lèi)?；蚨嗷蛏倌愣紩?huì )想依靠AI獲得更多的力量，獲得更多的控制權，擁有的控制權越多，就越容易實(shí)現目標。我發(fā)現很難看到我們將如何阻止AI試圖獲得更多控制權，以實(shí)現他們的其他目標。所以。一旦他們開(kāi)始這么做，我們就會(huì )有問(wèn)題了。

它會(huì )發(fā)現通過(guò)操縱人來(lái)獲得更多的權力很容易。

我們不習慣思考超出我們智力范圍的事情，以及我們將如何與他們互動(dòng)。但是在我看來(lái)，很明顯，它會(huì )學(xué)會(huì )非常善于欺騙別人。因為通過(guò)看到我們接待其他人的所有示例，它將有很多實(shí)踐。

在小說(shuō)和馬基雅維利的作品中。一旦你非常擅長(cháng)欺騙別人，你就可以讓人們真正執行你喜歡的任何動(dòng)作。因此，例如，如果您想入侵華盛頓州的建筑物，則無(wú)需前往那里。您只是欺騙人們以為他們通過(guò)入侵建筑物來(lái)拯救民主。

我覺(jué)得這很可怕，現在。我看不出如何防止這種情況的發(fā)生。但是我老了。我希望像你這樣的，年輕而才華橫溢的研究人員會(huì )弄清楚我們如何擁有超級智能，這將使我們的生活變得更好，而無(wú)需他們控制。

AI能目前主要是通過(guò)從文檔中學(xué)習來(lái)獲取人類(lèi)學(xué)習的知識，但這種方式非常低效。如果它們能夠通過(guò)建模視頻等方式進(jìn)行無(wú)監督學(xué)習，就能夠從大量數據中學(xué)習，從而獲取更多的知識。

此外，如果AI能夠操作物理世界，例如使用機器人手臂等，也將有助于它們更快地學(xué)習。同時(shí)AI能體變得比人類(lèi)更聰明的可能性，以及它們可能被用于惡意行為，如控制電子或贏(yíng)得戰爭。最后，為了讓超級智能體更高效，需要允許它們創(chuàng )建子目標，但這可能會(huì )帶來(lái)風(fēng)險。

因為我不知道更聰明的東西被不太聰明的東西控制的任何例子。當智力差距很大時(shí)，我想到的例子是，如果青蛙擁有了智能，那么誰(shuí)將掌握控制權的問(wèn)題。

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：