OpenAI CEO Altman:大語(yǔ)言模型不是“越大越好”
毫無(wú)疑問(wèn),ChatGPT依賴(lài)的是迄今為止最復雜的大語(yǔ)言模型(LLM),但在OpenAI掌門(mén)人看來(lái),LLM并非越大越好。
(資料圖片)
當地時(shí)間4月13日,OpenAI聯(lián)合創(chuàng )始人兼首席執行官Sam Altman在麻省理工學(xué)院的“想象力在行動(dòng)”活動(dòng)上接受了媒體的采訪(fǎng)。
他認為我們正為了大小而逐漸接近LLM的極限。Altman說(shuō):
我認為,我們已經(jīng)走到了這個(gè)時(shí)代的盡頭,我們將以其他方式把這些巨型模型做得更好。
Altman認為,大小并非衡量一個(gè)模型質(zhì)量的正確方式,他還把LLM與芯片的發(fā)展速度進(jìn)行了比較。
我認為人們過(guò)于關(guān)注參數數量,也許參數數量肯定會(huì )增加。但是,這讓我想起了上世紀90年代和2000年代的千兆赫芯片競賽,當時(shí)每家公司都追求大參數。
正如他指出的那樣,如今有些手機上運行著(zhù)功能更強大的芯片,但用戶(hù)大多數時(shí)候并不知道它們的速度有多快,只知道它們能很好地完成工作。
Altman認為,未來(lái)模型參數應該向更小的方向發(fā)展,或者以多個(gè)小模型協(xié)作的方式工作。
我認為,重要的是,我們將重點(diǎn)放在迅速提高(模型)能力上。
如果可以的話(huà),參數數量應該隨著(zhù)時(shí)間的推移而減少,或者我們應該讓多個(gè)模型一起工作,每個(gè)模型都更小,我們就會(huì )這樣做。
我們希望向世界提供的是最強大、最實(shí)用、最安全的模型。當然,我們并不是要忽略參數數量。
Altman還說(shuō):
風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險,投資需謹慎。本文不構成個(gè)人投資建議,也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資,責任自負。我們已經(jīng)為此努力了很長(cháng)時(shí)間,但我們的信心正逐漸增強,相信它真的會(huì )奏效。
我們建立這家公司已經(jīng)七年了。這些事情需要很長(cháng)、很長(cháng)的時(shí)間??偟膩?lái)說(shuō),我想說(shuō)的是為什么別人沒(méi)有成功的時(shí)候它卻成功了: 這只是因為我們已經(jīng)在研究每一個(gè)細節很長(cháng)一段時(shí)間了。而大多數人不愿意這么做。
關(guān)鍵詞: