就在剛剛，根據The Information的最新爆料，OpenAI即將發(fā)布一款全新的開(kāi)源大語(yǔ)言模型。

雖然目前還不清楚，OpenAI是不是打算利用即將開(kāi)源的模型，來(lái)?yè)屨糣icuna或其他開(kāi)源模型的市場(chǎng)份額。

但幾乎可以肯定的是，新模型的能力大概率無(wú)法與GPT-4甚至GPT-3.5相競爭。

(資料圖)

畢竟，270億美元的估值也決定了，OpenAI最先進(jìn)的模型將會(huì )被用于商業(yè)目的，盡管前兩個(gè)版本的GPT都是開(kāi)源的。

對此，OpenAI的發(fā)言人沒(méi)有回應置評請求。

羊駝家族開(kāi)源大爆發(fā)

十天前，谷歌的一份內部文件泄漏。在這篇名為《我們沒(méi)有護城河，OpenAI也沒(méi)有》的文章里，作者沉痛控訴了開(kāi)源對于谷歌和OpenAI的沉重打擊。

的確，在這次軍備競賽中，谷歌和OpenAI似乎都不是贏(yíng)家，因為開(kāi)源社區正在吃掉屬于它們的「利益」。

ChatGPT一出，引爆了全球的LLM革命。然而，OpenAI不Open，很多公司和開(kāi)發(fā)者只能看著(zhù)干著(zhù)急。

此時(shí)，Meta站出來(lái)發(fā)布了LLaMA，為全世界開(kāi)發(fā)者謀了一把福利。

本來(lái)呢，Meta承諾的是LLaMA會(huì )對非商用的研究用例開(kāi)源，可是誰(shuí)能想到，僅在發(fā)布一周后，LLaMA的權重忽然在4chan上泄漏了，瞬間就引發(fā)了數千次下載。

這場(chǎng)「史詩(shī)級泄漏」，直接讓開(kāi)源LLM領(lǐng)域變了天。短短幾周內，各種ChatGPT平替就以迅雷不及掩耳之勢呈爆炸式增長(cháng)。

Alpaca、Vicuna、Koala、ChatLLaMA 、FreedomGPT、ColossalChat……簡(jiǎn)直堪稱(chēng)是「羊駝家族」大爆炸。

其實(shí)，早在羊駝之前，開(kāi)源模型就曾破滅過(guò)OpenAI的野心。

當時(shí)，剛剛發(fā)布的Dall-E 2憑借著(zhù)驚艷的文生圖效果，在網(wǎng)上引起了不小的轟動(dòng)。

然而，當OpenAI還在試圖兜售API時(shí)，一款開(kāi)源替代突然橫空出世——Stable Diffusion。

隨著(zhù)Stable Diffusion的迅速崛起，Dall-E 2也很快就被開(kāi)發(fā)者們拋在了腦后。

開(kāi)源大模型，要顛覆硅谷大廠(chǎng)？

UC Berkeley的計算機教授Ion Stoica正是使用Meta的研究開(kāi)發(fā)Vicuna的學(xué)者之一。

為了提高Vicuna的能力，Stoica和同事們正在努力增加模型中的計算數量，這將有助于處理涉及推理的任務(wù)，比如寫(xiě)代碼。

開(kāi)發(fā)Vicuna的是一個(gè)伯克利的團隊，每年的預算為數百萬(wàn)美元，其中大約50萬(wàn)美元來(lái)自包括微軟、谷歌和亞馬遜在內的上市公司。

UC Berkeley的計算機教授Ion Stoica表示，現在的免費AI模型，在性能上已經(jīng)「相當接近」谷歌和OpenAI的專(zhuān)有模型了，毫無(wú)疑問(wèn)，大多數開(kāi)發(fā)者最終都會(huì )選擇免費模型。

一方面，開(kāi)源模型可以讓開(kāi)發(fā)者使用自己的數據來(lái)解決特定的問(wèn)題。

另一方面，像Vicuna這種模型的訓練成本甚至可以低至幾百美元，而且還不用向大廠(chǎng)支付昂貴的使用費。

https://lmsys.org/blog/2023-03-30-vicuna/

如果Stoica的看法正確，開(kāi)源AI必將顛覆谷歌、OpenAI、微軟等出售專(zhuān)有模型使用權的大廠(chǎng)的商業(yè)計劃。

Vicuna的質(zhì)量和開(kāi)源AI的寒武紀大爆發(fā)，讓谷歌工程師Luke Sernau警告同事，谷歌在努力追趕OpenAI時(shí)，太過(guò)關(guān)注專(zhuān)有軟件了。

如果免費、高質(zhì)量的平替沒(méi)有使用限制，誰(shuí)會(huì )去付費使用帶有條條框框的谷歌產(chǎn)品呢？開(kāi)源AI的發(fā)展正在超越我們，谷歌應該在開(kāi)源社區中建立自己的領(lǐng)導地位，并放棄對我們模型的部分控制。

這份備忘錄迅速在整個(gè)行業(yè)內引起了共鳴——即使Sernau或許高估了開(kāi)源AI的能力，低估了它們的成本和風(fēng)險，但大多數從業(yè)者都同意，Meta非常有可能從中獲益。

比如，Meta在內部會(huì )使用AI模型進(jìn)行內容推薦和廣告定位，當開(kāi)發(fā)者改進(jìn)Meta的模型時(shí)，Meta就可以把這些改進(jìn)納入自己內部的AI。

Meta CEO小扎對此籌謀已久。

4月，在他與分析師的一次電話(huà)會(huì )議中，他曾這樣談到公司的策略——

如果行業(yè)能夠在我們使用的基礎工具上達成標準化，那么我們就能從其他人的改進(jìn)中受益，這樣會(huì )更好。

谷歌倒是沒(méi)有完全采用專(zhuān)有的方式來(lái)處理AI軟件。

早在2020年，谷歌就發(fā)布了一個(gè)開(kāi)源語(yǔ)言模型T5，讓開(kāi)發(fā)者可以構建能夠執行翻譯和摘要任務(wù)的軟件。隨后，谷歌又發(fā)布了一個(gè)更先進(jìn)的Flan-T5。

但是，根據Stoica和其他從業(yè)者的說(shuō)法，Meta發(fā)布的軟件能夠在谷歌模型的基礎上做出顯著(zhù)改進(jìn)，這讓開(kāi)發(fā)者選擇Meta模型的可能性大大增加了。

不過(guò)，Stoica表示，谷歌在開(kāi)源軟件方面仍有兩個(gè)優(yōu)勢。

1. 如果谷歌利用其不向外部開(kāi)放的用戶(hù)數據，模型在某些專(zhuān)業(yè)領(lǐng)域（如內容推薦）的表現可能會(huì )更好。

不過(guò)，谷歌發(fā)言人表示，公司并沒(méi)有在現有用戶(hù)數據上訓練其基礎模型。

2. 搜索公司在管理大規模計算機基礎設施方面的專(zhuān)長(cháng)，意味著(zhù)它能夠以更低的成本來(lái)運行模型，包括為云客戶(hù)提供服務(wù)。

與此同時(shí)，OpenAI在收集數百萬(wàn)人與ChatGPT互動(dòng)方式的數據上，已經(jīng)搶得了先機，這會(huì )更有助于OpenAI改進(jìn)AI軟件，更不用提它和微軟的合作協(xié)議。

開(kāi)源的繁榮，是大廠(chǎng)的「施舍」？

不過(guò)，這種建立在開(kāi)源基礎上的繁榮，是不穩定的。

目前大多數的開(kāi)源，仍然依賴(lài)于資金雄厚的大公司發(fā)布的巨型模型。如果OpenAI和Meta決定關(guān)閉業(yè)務(wù)，繁榮的開(kāi)源社區，可能就會(huì )變得蕭條。

比如，現在許多開(kāi)源平替是基于Meta的LLaMA構建的。

而其他模型使用的是名為Pile的大型公共數據集，由開(kāi)源非營(yíng)利組織EleutherAI整理。

EleutherAI之所以存在，是因為OpenAI的開(kāi)放性意味著(zhù)一群開(kāi)發(fā)者能夠逆向了解GPT-3是如何制作的，然后在空閑時(shí)間里創(chuàng )建自己的模型。

但一切都可能改變。

OpenAI已經(jīng)不再Open，Meta也在考慮限制開(kāi)源，防止初創(chuàng )公司利用開(kāi)源代碼做壞事。

Meta AI的執行董事Joelle Pineau表示，現在向外部人員開(kāi)放代碼是正確，但他并不確定，在未來(lái)五年內Meta還會(huì )采用相同的策略。

如果這種Close的趨勢繼續下去，那么不僅開(kāi)源社區會(huì )被拋棄，下一代的AI突破也會(huì )重新回到那些最大、最不差錢(qián)的AI實(shí)驗室手中。

顯然，AI大模型的制造和使用方式的未來(lái)，正處于一個(gè)十字路口。

如果OpenAI曾經(jīng)吝嗇，就不會(huì )有如今的開(kāi)源盛況

其他人也在權衡，這種開(kāi)源的自由競爭帶來(lái)的回報更大，還是風(fēng)險更大。

就在Meta AI發(fā)布LLaMA的同時(shí)，Hugging Face推出了一個(gè)門(mén)禁機制，下載平臺上的模型之前，用戶(hù)必須申請訪(fǎng)問(wèn)并獲得批準，這是為了限制那些有合法理由的人。

「我并不是一個(gè)開(kāi)源的布道者，」Hugging Face的首席倫理科學(xué)家Margaret Mitchell說(shuō)?！肝夷芸吹讲婚_(kāi)源的意義?！?/p>

大模型廣泛使用的一個(gè)弊端，就是可能造成AI色情產(chǎn)品的泛濫。

Mitchell曾在谷歌工作，并創(chuàng )立了AI道德團隊，她對于模型被濫用的風(fēng)險十分了解。因此，她贊成Meta AI以有控制的方式發(fā)布模型。

同時(shí)，OpenAI也在關(guān)閉水龍頭。GPT-4發(fā)布時(shí)，并沒(méi)有公布架構（包括模型大?。?、硬件、訓練計算、數據集構建、訓練方法等細節，理由是「鑒于像GPT-4這樣的大規模模型的競爭格局和安全影響」。

這種限制反應了OpenAI心態(tài)上的變化。聯(lián)合創(chuàng )始人兼首席科學(xué)家Ilya Sutskever表示，OpenAI過(guò)去的開(kāi)放性是一個(gè)錯誤。

OpenAI的政策研究員Sandhini Agarwal說(shuō)：「以前，如果某樣東西是開(kāi)源的，也許一小群修理工會(huì )關(guān)心。但現在，整個(gè)環(huán)境已經(jīng)改變。開(kāi)源真的可以加速發(fā)展，導致競爭?！?/p>

時(shí)間倒回三年前，如果OpenAI在公布GPT-3的細節時(shí)，就秉持著(zhù)同樣的原則，那就不會(huì )有EleutherAI的出現，也就不會(huì )有蓬勃的開(kāi)源創(chuàng )新。

今天，EleutherAI在開(kāi)源生態(tài)系統中發(fā)揮著(zhù)舉足輕重的作用。Pile被用來(lái)訓練多個(gè)開(kāi)源項目，包括Stability AI的StableLM。

但隨著(zhù)GPT-4、5、6被鎖死，開(kāi)源社區可能會(huì )再次被落在幾家大公司后面。

他們會(huì )困在上一代模型中，如果想取得進(jìn)步，只能閉門(mén)造車(chē)。

本文作者：Aeneas 好困，本文來(lái)源：新智元，原文標題：《重磅內幕：OpenAI即將開(kāi)源新模型！開(kāi)源社區的繁榮，全靠大廠(chǎng)「施舍」？》

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：