AI大戰，究竟誰(shuí)才是最終贏(yíng)家？

或許既不是人們討論最激烈的OpenAI，也不是微軟、谷歌等科技巨頭，開(kāi)源AI可能將在未來(lái)占領(lǐng)高地。

周四，據媒體semianalysis報道，谷歌研究員在一份泄密文件中坦言，谷歌沒(méi)有護城河，OpenAI也是如此，與開(kāi)源AI競爭將難以占據優(yōu)勢。

(資料圖)

正如文件中提到的，開(kāi)源模型訓練速度更快，可定制性更強，更私密，而且比同類(lèi)產(chǎn)品能力更出色。他們正在用100美元和130億的參數做一些“谷歌1000萬(wàn)美元和540億的參數難以企及”的事情，而且在短短幾周內就能做到，而不是幾個(gè)月。

對于用戶(hù)而言，如果有一個(gè)沒(méi)有使用限制、免費、高質(zhì)量的替代品，誰(shuí)還會(huì )為谷歌的產(chǎn)品付費呢？

以下是谷歌泄密文件：

谷歌沒(méi)有護城河，OpenAI也是如此

我們對OpenAI進(jìn)行了很多審視和思考，誰(shuí)會(huì )跨越下一個(gè)里程碑？下一步會(huì )有什么行動(dòng)？

但令人不安的事實(shí)是，我們沒(méi)有能力贏(yíng)得這場(chǎng)軍備競賽，OpenAI也是如此。在我們爭吵不休的時(shí)候，第三個(gè)派別一直在悄悄地搶我們的飯碗。

我指的是開(kāi)源AI，簡(jiǎn)而言之他們正在搶走我們的市場(chǎng)份額。我們認為的“主要的開(kāi)放問(wèn)題”如今被解決了，并且已經(jīng)觸達用戶(hù)。僅舉幾例：

手機上的LLMs：人們以5 tokens/sec在Pixel 6上運行基礎模型。

可擴展的個(gè)人人工智能：你可以在一個(gè)晚上用你的筆記本電腦上微調生成個(gè)性化的AI助手。

負責任的發(fā)布：這個(gè)問(wèn)題并沒(méi)有“解決”，而是“避免”。有的整個(gè)網(wǎng)站充滿(mǎn)了沒(méi)有任何限制的藝術(shù)模型，而文字也不甘落后。

多模態(tài)性：目前的多模態(tài)ScienceQA SOTA是在一小時(shí)內訓練完成的。

雖然我們的模型在質(zhì)量上仍有一點(diǎn)優(yōu)勢，但差距正在以令人驚訝的速度迅速縮小。開(kāi)源模型訓練速度更快，可定制性更強，更私密，而且比同類(lèi)產(chǎn)品能力更出色。他們正在用100美元和130億的參數做一些“谷歌用1000萬(wàn)美元和540億的參數難以企及”的事情，而且在幾周內就能做到，而不是幾個(gè)月。這對我們有深遠的影響：

我們沒(méi)有訣竅。我們最大的希望是向谷歌以外的其他人學(xué)習并與他們合作。我們應該優(yōu)先考慮實(shí)現3P整合。

當免費的、不受限制的替代品質(zhì)量相當時(shí)，人們不會(huì )為一個(gè)受限制的模式付費。我們應該考慮我們的附加值到底在哪里？

大模型正在拖累我們，從長(cháng)遠來(lái)看，最好的模型是那些可以快速迭代的模型。

發(fā)生了什么？

三月初，Meta的大語(yǔ)言模型LLaMA被泄露，開(kāi)源社區得到了第一個(gè)真正有能力的基礎模型。它沒(méi)有指令或對話(huà)調整，也沒(méi)有RLHF。盡管如此，社區立即理解了他們所得到的東西的意義。

隨后，巨大的創(chuàng )新成果接連涌現出來(lái)，發(fā)展僅僅間隔了幾天?，F在，不到一個(gè)月的時(shí)間，就出現了指令調整、量化、質(zhì)量改進(jìn)、人類(lèi)評價(jià)、多模態(tài)、RLHF等變體，許多都是相互關(guān)聯(lián)的。

最重要的是，他們已經(jīng)解決了縮放（scaling）問(wèn)題，達到了任何人都可以調整的程度。許多新的想法都來(lái)自于普通人，門(mén)檻已經(jīng)從一個(gè)主要研究機構下降到一個(gè)人、一個(gè)晚上和一臺強大的筆記本電腦。

在許多方面，這對任何人來(lái)說(shuō)都不那么驚訝。當前開(kāi)源大模型的復興緊隨生成圖像模型的火熱，開(kāi)源社區并沒(méi)有忘記這些相似之處，許多人稱(chēng)這是LLMs的“Stable?Diffusion”時(shí)刻。

通過(guò)低秩矩陣微調方法（LoRA），結合規模上的重大突破（如大模型Chinchilla），公眾可以用較低成本參與進(jìn)來(lái)；在這兩種情況下，獲得一個(gè)足夠高質(zhì)量的模型可以引發(fā)了世界各地的個(gè)人和機構的想法和迭代的熱潮，很快就會(huì )超越大型企業(yè)。

這些貢獻在圖像生成領(lǐng)域非常關(guān)鍵，使Stable?Diffusion公司走上了與Dall-E不同的道路。擁有一個(gè)開(kāi)放的模式帶來(lái)的產(chǎn)品整合、市場(chǎng)、用戶(hù)界面和創(chuàng )新，這些都是Dall-E所沒(méi)有的。

其效果是可想而知的：在文化影響方面，與OpenAI的解決方案相比，它迅速占據了主導地位，變得越來(lái)越相互依賴(lài)。同樣的事情是否會(huì )發(fā)生在LLM上還有待觀(guān)察，但廣泛的結構元素是相同的。

我們錯過(guò)了什么？

開(kāi)源最近成功的創(chuàng )新直接解決了我們仍在掙扎的問(wèn)題，多關(guān)注他們的工作可以幫助我們避免重蹈覆轍。

LoRA是一個(gè)非常強大的技術(shù)，我們應該多加注意，LoRA的工作原理是將模型更新表示為低秩因子化，這將更新矩陣的大小減少了幾千倍。這使得模型的微調只需要一小部分的成本和時(shí)間。能夠在幾個(gè)小時(shí)內在消費類(lèi)硬件上對語(yǔ)言模型進(jìn)行個(gè)性化調整是一件大事，特別是對于那些涉及在近乎實(shí)時(shí)的情況下納入新的和多樣化的知識。這項技術(shù)的存在在谷歌內部沒(méi)有得到充分的利用，盡管它直接影響了我們一些最雄心勃勃的項目。

從頭開(kāi)始重新訓練模型是一條艱難的道路，LoRA之所以如此有效，部分原因在于--像其他形式的微調--是可堆疊的，像指令調整這樣的改進(jìn)可以被應用，然后隨著(zhù)其他貢獻者增加對話(huà)、推理或工具使用而被利用。雖然單個(gè)的微調是低等級的，但它們的總和不需要，允許模型的全等級更新隨著(zhù)時(shí)間的推移而積累。

這意味著(zhù)，隨著(zhù)新的和更好的數據集和任務(wù)的出現，模型可以以較低成本保持更新，而不需要支付全面訓練的費用。

相比之下，從頭開(kāi)始訓練大模型，不僅丟掉了預訓練，還丟掉了之前的任何迭代改進(jìn)。在開(kāi)源的世界里，這些改進(jìn)在不久之后就會(huì )占據主導地位，從而使全面重新訓練的成本變得非常昂貴。

我們應該深思熟慮，每個(gè)新的應用或想法是否真的需要一個(gè)全新的模型。如果我們真的有重大的架構改進(jìn)，那么我們應該投資于更積極的提煉形式，盡可能地保留前一代的能力。如果我們能在小模型上更快地進(jìn)行迭代，那么從長(cháng)遠來(lái)看，大模型并不是更有優(yōu)勢。

LoRA更新的成本非常低（約100美元），這意味著(zhù)幾乎任何有想法的人都可以生成。訓練時(shí)間少于一天是很正常的，在這種速度下，所有這些微調的累積效應不需要很長(cháng)時(shí)間就可以克服初始的模型規模劣勢。

數據質(zhì)量的擴展性比大小更好體現在這些項目中，許多模型通過(guò)在小型、高質(zhì)量的數據集上進(jìn)行訓練來(lái)節省時(shí)間。這表明在數據擴展規律有一定的靈活性，同時(shí)正迅速成為谷歌之外的標準訓練方式。這兩種方法在谷歌都不占優(yōu)勢，但幸運的是，這些高質(zhì)量的數據集是開(kāi)源的，可以免費使用。

與開(kāi)源直接競爭是一個(gè)賠本生意

最近的這一進(jìn)展對我們的商業(yè)戰略有直接、重大的影響，如果有一個(gè)沒(méi)有使用限制、免費、高質(zhì)量的替代品，誰(shuí)還會(huì )為谷歌的產(chǎn)品付費呢？

而且，我們不應該指望能夠追趕上，現代互聯(lián)網(wǎng)在開(kāi)放源碼上運行是有原因的，開(kāi)放源碼有一些無(wú)法復制的優(yōu)勢。

我們更需要他們，對我們的技術(shù)進(jìn)行保密始終是不穩固的，谷歌的研究人員經(jīng)常變動(dòng)，所以我們可以假設他們知道我們所知道的一切，而且只要這個(gè)途徑是開(kāi)放的，相關(guān)技術(shù)就會(huì )繼續散播出去。

但在技術(shù)方面保持競爭優(yōu)勢變得更加困難，世界各地的研究機構都在彼此的工作基礎上，以廣度優(yōu)先的方式探索解決方案的空間，遠遠超過(guò)了我們的能力。我們可以嘗試緊緊抓住我們的秘密，而外部的創(chuàng )新會(huì )稀釋它們的價(jià)值，或者我們可以嘗試相互學(xué)習。

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：