《時(shí)代周刊》用4張圖告訴我們，為什么AI發(fā)展的發(fā)展不太可能放緩，只可能加快。

在過(guò)去的十年里，AI系統發(fā)展的速度令人驚嘆。

(相關(guān)資料圖)

2016年AlphaGo在圍棋比賽中擊敗李世石，就是一個(gè)開(kāi)始?，F在，AI已經(jīng)可以比人類(lèi)更好地識別圖像和語(yǔ)音，通過(guò)商學(xué)院考試，以及亞馬遜的編程面試題。

就在上周，美國參議院司法委員會(huì )開(kāi)展了關(guān)于監管AI的聽(tīng)證會(huì )。

在會(huì )上，著(zhù)名AI初創(chuàng )公司Anthropic的CEO Dario Amodei表示說(shuō)：了解AI最重要的一件事，就是知道它的發(fā)展速度有多快。

最近，《時(shí)代周刊》就發(fā)了一篇文章，用四張圖告訴我們，AI的發(fā)展速度為什么不會(huì )放緩。

人類(lèi)正在被AI超越

如今，AI在許多任務(wù)中超越了人類(lèi)，人類(lèi)在新任務(wù)中被超越的速度也在增加。

下圖是SOTA模型在基準測試上相對于人類(lèi)的表現。

測試的能力分別是手寫(xiě)識別（MNIST）、語(yǔ)音識別（Switchboard）、圖像識別（ImageNet）、閱讀理解（SQuAD 1.1 & SQuAD 2.0）、語(yǔ)言理解（GLUE）、常識完成（HellaSwag）、小學(xué)數學(xué)（GSK8k）、代碼生成（HumanEval）。

人類(lèi)的表現被設定為100%

人們通常會(huì )認為，科學(xué)和技術(shù)進(jìn)步在根本上是不可預測的，驅動(dòng)它們的是一種在事后才變得更清晰的洞察力。

但我們可以預見(jiàn)，AI系統的進(jìn)步是由三個(gè)輸入（計算、數據和算法）的進(jìn)步推動(dòng)的。

過(guò)去70年的大部分進(jìn)步，都是研究人員使用更大的算力訓練AI系統的結果。

系統被提供了更多數據，或者存在更強的算法，有效地減少了獲得相同結果所需的計算或數據量。

只要了解這三個(gè)因素在過(guò)去是如何推動(dòng)了人工智能的進(jìn)步，我們就會(huì )理解為什么大多數AI從業(yè)者預計AI的進(jìn)展不會(huì )放緩。

計算量的增加

第一個(gè)人工神經(jīng)網(wǎng)絡(luò )Perceptron Mark I開(kāi)發(fā)于1957年，它可以分辨一張卡片的標記是在左側還是右側。

擁有1000個(gè)人工神經(jīng)元的Mark I，訓練一次大概需要7x10^5次操作。

而70多年后OpenAI發(fā)布的大語(yǔ)言模型GPT-4，訓練一次大概需要21x10^24次操作。

計算量的增加，不僅讓AI系統可以從更多的數據中學(xué)到更多的示例，而且還可以更詳細地對變量之間的關(guān)系進(jìn)行建模，從而得出更準確、更細致的結論。

自1965年以來(lái)，摩爾定律（集成電路中的晶體管數量大約每?jì)赡攴环┮馕吨?zhù)算力的價(jià)格一直在穩步下降。

不過(guò)，研究機構Epoch的主任Jaime Sevilla表示，這時(shí)的研究人員更專(zhuān)注于開(kāi)發(fā)構建AI系統的新技術(shù)，而不是關(guān)注使用多少計算來(lái)訓練這些系統。

然而，情況在2010年左右發(fā)生了變化——研究人員發(fā)現「訓練模型越大，表現效果越好」。

從那時(shí)起，他們便開(kāi)始花費越來(lái)越多的資金，來(lái)訓練規模更大的模型。

訓練AI系統需要昂貴的專(zhuān)用芯片，開(kāi)發(fā)者要么構建自己的計算基礎設施，要么向云計算服務(wù)商付費，訪(fǎng)問(wèn)他們的基礎設施。

隨著(zhù)這一支出的不斷增長(cháng)，再加上摩爾定律帶來(lái)的成本下降，AI模型也能夠在越來(lái)越強大的算力上進(jìn)行訓練。

據OpenAI CEO Sam Altman透露，GPT-4的訓練成本超過(guò)了1億美元。

作為業(yè)界的兩個(gè)頂流，OpenAI和Anthropic已經(jīng)分別從投資者那里籌集了數十億美元，用于支付訓練AI系統的計算費用，并各自與財力雄厚的科技巨頭（微軟、谷歌）建立了合作伙伴關(guān)系。

自1950年以來(lái)，用于訓練AI系統的計算量一直在增加；到2010年，增長(cháng)率也增加了

數據量的增長(cháng)

AI系統的工作原理是，構建訓練數據中變量之間的關(guān)系模型。

無(wú)論是單詞「home」與單詞「run」相鄰的可能性，還是基因序列與蛋白質(zhì)折疊之間的模式，即蛋白質(zhì)以其三維形態(tài)取得功能的過(guò)程。

一般來(lái)說(shuō)，數據越多AI系統就有越多信息來(lái)建立數據中變量之間準確的關(guān)系模型，從而提高性能。

例如，一個(gè)被提供更多文本的語(yǔ)言模型將擁有更多以「run」跟隨「home」出現的句子示例。因為在描述棒球比賽或強調成功的句子中，這種詞序更為常見(jiàn)。

關(guān)于Perceptron Mark I的原始研究論文指出，它僅使用了六個(gè)數據點(diǎn)進(jìn)行訓練。

相比之下，由Meta在2023年發(fā)布的大語(yǔ)言模型LLaMA，則使用了約10億個(gè)數據點(diǎn)進(jìn)行訓練——比Perceptron Mark I增加了超過(guò)1.6億倍。

其中，這些數據包括，67%的Common Crawl數據，4.5％的GitHub，以及4.5％的維基百科。

在過(guò)去的70年中，用于訓練AI模型的數據量急劇增加

訓練數據大小是指用于訓練AI模型的數據量，表示可供模型學(xué)習的示例數。

每個(gè)領(lǐng)域都有一個(gè)特定的數據點(diǎn)輸入單元，例如用于訓練視覺(jué)模型的圖像、用于語(yǔ)言模型的單詞，和用于游戲模型的時(shí)間步長(cháng)。這意味著(zhù)系統只能在同一領(lǐng)域內進(jìn)行比較。

算法的進(jìn)步

算法是定義要執行的操作序列的規則或指令集，它決定了AI系統如何準確地利用算力來(lái)建模給定的數據之間的關(guān)系。

除了使用越來(lái)越多的算力在更多數據上訓練AI之外，研究人員還在尋找在尋找如何用更少的資源獲得更多的效益。

Epoch的研究發(fā)現，「每九個(gè)月，更好的算法的引入，相當于讓計算預算翻番?！?/p>

訓練模型的帕累托邊界，以實(shí)現知名模型隨時(shí)間推移的性能

而算法進(jìn)步也就是意味著(zhù)，模型可以憑借著(zhù)更少的計算和數據，達到相同的性能水平。

下圖是在六個(gè)不同年份中，在圖像識別測試中達到80.9%的準確度所需的計算量和數據點(diǎn)數。

對于在1萬(wàn)億個(gè)數據點(diǎn)上訓練的模型，2021年訓練的模型所需的計算量比2012年訓練的模型少~16,500倍。

在圖像識別測試中，達到80.9%準確率所需的計算量和數據量

調查涉及的是ImageNet基準測試上的ResNeXt-101計算機視覺(jué)系統，計算以FLOP為單位，數據以訓練集中的圖像數量來(lái)衡量。

AI的下一個(gè)階段

根據Sevilla的預測，研究人員用于訓練系統的計算量很可能在一段時(shí)間內繼續以目前的加速度增長(cháng)，企業(yè)在訓練AI系統上花費的資金也會(huì )增加，而隨著(zhù)計算成本的持續下降，效率也會(huì )提高。

直到個(gè)時(shí)刻，繼續增加計算量只能略微提高性能為止。在此之后，計算量將繼續增加，但速度會(huì )放慢。而這完全是因為摩爾定律導致計算成本下降。

目前，AI系統（如 LLaMA）所使用的數據來(lái)自互聯(lián)網(wǎng)。在以往，能輸入AI系統多少數據量，主要取決于有多少算力。

而最近訓練AI系統所需的數據量的爆炸性增長(cháng)，已經(jīng)超過(guò)了互聯(lián)網(wǎng)上新文本數據的生產(chǎn)速度。

因此，Epoch預測，研究人員將在2026年用盡高質(zhì)量的語(yǔ)言數據。

不過(guò)，開(kāi)發(fā)AI系統的人對這個(gè)問(wèn)題似乎不太擔心。

在3月份參加Lunar Society的播客節目時(shí)，OpenAI的首席科學(xué)家Ilya Sutskever表示：「我們的數據情況還不錯。還有很多可用的數據?！?/p>

在7月份參加Hard Fork播客節目時(shí)，Dario Amodei估計：「在數據不足的情況下，這種擴展可能有10%的幾率會(huì )受到影響?！?/p>

Sevilla也相信，數據的不足并不會(huì )阻止AI的進(jìn)一步發(fā)展，例如找到使用低質(zhì)量語(yǔ)言數據的方法。因為與計算不同，數據不足以前并沒(méi)有成為AI發(fā)展的瓶頸。

他預計，在創(chuàng )新方面，研究人員將很可能會(huì )發(fā)現很多簡(jiǎn)單的方法來(lái)解決這個(gè)問(wèn)題。

到目前為止，算法的大部分改進(jìn)，都源于如何更高效地利用算力這一目標。Epoch發(fā)現，過(guò)去超過(guò)四分之三的算法進(jìn)步，都是被用來(lái)彌補計算的不足。

未來(lái)，隨著(zhù)數據成為AI訓練發(fā)展的瓶頸，可能會(huì )有更多的算法改進(jìn)，被用來(lái)彌補數據上的不足。

綜合以上三個(gè)方面，包括Sevilla在內的專(zhuān)家們預計，AI進(jìn)展將在未來(lái)幾年內繼續以驚人的速度進(jìn)行。

計算量將繼續增加，因為公司投入更多資金，底層技術(shù)也變得更加便宜。

互聯(lián)網(wǎng)上剩余有用的數據將被用于訓練AI模型，研究人員將繼續找到訓練和運行AI系統的更高效方法，從而更好地利用算力和數據。

而AI在這些十年的發(fā)展趨勢，也將繼續延續下去。

當然，這種趨勢也讓很多AI專(zhuān)家感到擔憂(yōu)。

在參議院委員會(huì )聽(tīng)證會(huì )上，Anthropic CEO Amodei提出，如果AI再繼續進(jìn)步下去，兩到三年內，普通人都可以獲得即使是專(zhuān)家也無(wú)法獲得的科學(xué)知識了。

這可能造成的網(wǎng)絡(luò )安全、核技術(shù)、化學(xué)、生物學(xué)等領(lǐng)域造成的嚴重破壞和濫用，誰(shuí)都無(wú)法想象。

本文作者：Aeneas、好困，來(lái)源：新智元，原文標題：《AI狂飆70年背后原因大揭秘！4張圖揭露算法進(jìn)化之謎》

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：