OpenAI的CEO:構建龐大AI模型的時(shí)代已經(jīng)結束
OpenAI研發(fā)的聊天機器人ChatGPT的驚人功能引發(fā)了人們對人工智能的新興趣和投資。但上周晚些時(shí)候,OpenAI的首席執行官Sam Altman警告說(shuō),構建龐大AI模型、研發(fā)生成式AI機器人的時(shí)代已經(jīng)結束。
近年來(lái),OpenAI通過(guò)采用現有的機器學(xué)習算法并將其擴展到以前無(wú)法想象的規模,在與語(yǔ)言一起工作的人工智能方面取得了一系列令人印象深刻的進(jìn)步。GPT-4是這些項目中最新的一個(gè),它可能是使用數萬(wàn)億個(gè)文本單詞和數千個(gè)強大的計算機芯片進(jìn)行訓練的,構建這一龐大的AI模型耗資超過(guò)1億美元。
(資料圖片)
但該公司的首席執行官Sam Altman表示,在A(yíng)I領(lǐng)域進(jìn)一步的進(jìn)步并不是讓這類(lèi)模型變得更大:
我認為我們正處于構建大型AI模型時(shí)代的末期,未來(lái),我們會(huì )以其他方式讓這些模型變得更好。
有分析認為,Altman的這番表態(tài)意味著(zhù),在當前各科技公司都在開(kāi)發(fā)和部署新AI算法、并攀比其模型規模的競賽中,出現了出人意料的轉折。自OpenAI于去年11月推出ChatGPT以來(lái),微軟已利用底層技術(shù)在其Bing搜索引擎中添加了一個(gè)聊天機器人,谷歌也推出了一個(gè)名為Bard的聊天機器人來(lái)與之競爭。許多公司紛紛推出類(lèi)似的聊天機器人以顯示自己不甘人后。
與此同時(shí),包括Anthropic、AI21、Cohere和Character.AI在內的眾多資金充足的初創(chuàng )公司正在投入大量資源來(lái)構建更大的算法,以努力趕上OpenAI的技術(shù)。
同時(shí)有分析認為,Altman的這一表態(tài)可能意味著(zhù),GPT-4或許是OpenAI使模型更大并為它們提供更多數據的戰略中出現的最后一個(gè)重大進(jìn)展。Altman并沒(méi)有說(shuō)什么樣的研究策略或技術(shù)可能會(huì )取代它。在描述GPT-4的論文中,OpenAI估計這種擴大模型規模的策略將會(huì )有邊際效益遞減的趨勢,Altman也強調,受制于數據中心數量和建造速度,開(kāi)發(fā)更大規模的AI模型也存在物理限制。
Cohere的聯(lián)合創(chuàng )始人Nick Frosst曾在谷歌從事AI方面的工作,他說(shuō)Altman認為增加規模不會(huì )永遠奏效的想法聽(tīng)起來(lái)是對的。他也認為,Transformer(GPT-4及其競爭對手的核心機器學(xué)習模型類(lèi)型)的進(jìn)展已經(jīng)沒(méi)有什么擴展的可能性:
有很多方法可以讓Transformer變得更好、更有用,而且很多方法不涉及向模型添加參數。新的AI模型設計或架構,以及基于人類(lèi)反饋的進(jìn)一步調整是許多研究人員已經(jīng)在探索的有前途的方向。
這些語(yǔ)言模型中的第一個(gè)GPT-2于2019年發(fā)布。它的最大形式有15億個(gè)參數,用于衡量其原始人工神經(jīng)元之間可調節連接的數量。當時(shí),OpenAI的研究人員發(fā)現,擴大規??梢允鼓P透舆B貫。因此,2020年發(fā)布的GPT-3規模更大,參數數量高達1750億。該模型生成詩(shī)歌、電子郵件和其他文本的廣泛能力讓投資者眼前一亮,并引發(fā)了近期的AI熱潮。
盡管OpenAI對GPT-4的大小和內部工作原理保密,但它的一些人工智能很可能已經(jīng)來(lái)自于超越規模的觀(guān)察。一種可能性是它使用了一種稱(chēng)為強化學(xué)習的方法和人類(lèi)反饋,用于增強ChatGPT。它涉及讓用戶(hù)判斷模型答案的質(zhì)量,以引導它提供更有可能被判斷為高質(zhì)量的響應。
GPT-4的非凡能力讓一些專(zhuān)家感到震驚,并引發(fā)了更多爭論。包括馬斯克在內的科技界領(lǐng)袖最近寫(xiě)了一封公開(kāi)信,呼吁暫停六個(gè)月的任何比GPT-4更強大的AI開(kāi)發(fā)。
Altman證實(shí)他的公司目前沒(méi)有開(kāi)發(fā)GPT-5:
這封信的早期版本聲稱(chēng)OpenAI目前正在訓練GPT-5,我們沒(méi)有,而且一段時(shí)間內也不會(huì )。
【4.22上海線(xiàn)下大師課報名】人工智能科學(xué)家劉志毅深度解讀邁向AGI時(shí)代的生產(chǎn)力革命和產(chǎn)業(yè)級投資!
風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險,投資需謹慎。本文不構成個(gè)人投資建議,也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資,責任自負。關(guān)鍵詞: