文心一言上線(xiàn)內測一個(gè)月后，首份迭代數據曝光：

(資料圖片)

一個(gè)月共迭代4次；

模型推理效率提升10倍，最近一次帶來(lái)的推理提升達到123%；

推理性能提升50%，模型算力利用率提升1倍。

簡(jiǎn)單歸納就是說(shuō)，迭代很快、不僅成本降下來(lái)了，順便還把性能提升了？！

要知道過(guò)去一個(gè)月內，全球網(wǎng)友們的熱情被這場(chǎng)技術(shù)風(fēng)暴所點(diǎn)燃，人們玩得不亦樂(lè )乎，ChatGPT也overload了好幾次。

作為國內率先發(fā)布的文心一言，是如何保持住高效迭代的？

在這份成績(jì)單中，找到了答案。

文心一言首月數據曝光

曝光的數據不多，但全都是關(guān)鍵技術(shù)指標——

大模型訓練與推理方面的數據，直接影響后續產(chǎn)品體驗效果的好壞。

首先，迭代方面。百度飛槳支撐的大模型推理服務(wù)在4月19日再次迭代，搭載了支持動(dòng)態(tài)插入的分布式推理引擎。據消息稱(chēng)，這還是業(yè)內首創(chuàng )。

截止目前，已迭代至3.5版本，一個(gè)月共迭代4次。

具體到推理方面，QPS （每秒查詢(xún)推理響應速度）提升10倍，模型推理性能提升50%，模型算力利用率提升1倍。

QPS （每秒查詢(xún)推理響應速度）提升10倍，也就代表著(zhù)是大模型推理效率的提升，推理成本降低為原來(lái)的10分之一。換言之，在同等成本情況下可以為更多用戶(hù)提供服務(wù)。

模型推理性能提升50%。大模型需要在用戶(hù)反饋中持續不斷的學(xué)習，推理作為大模型應用的關(guān)鍵，其性能的提升直接影響到產(chǎn)品側的效果。

而算力利用率提升1倍，同樣也是降本增效的體現。

事實(shí)上，不管是迭代速度，還是從模型成本、性能以及效率等多方面的提升，而這背后文心一言之所以能夠高效迭代，飛槳的重要性不容忽視。

更確切地來(lái)說(shuō)，「飛槳+文心一言」聯(lián)合優(yōu)化。

大模型不僅需要單純的「暴力美學(xué)」的支撐，同時(shí)還需要深度學(xué)習框架作為底層來(lái)支持高效、穩定的分布式訓練。

此次數據就可以看到，飛槳即向上與模型「文心一言」，又向下與芯片算力都實(shí)現了協(xié)同優(yōu)化，實(shí)現整體的效能提升。

而具體到推理過(guò)程，飛槳能為文心一言“定制”了一個(gè)精密生產(chǎn)流程，結合大模型算力、數據、參數量等特點(diǎn)來(lái)設計工藝，從而提升了推理效率和性能，幫助模型學(xué)習得越快越好。

大模型技術(shù)行業(yè)挑戰

這些迭代數據的背后，帶出了大模型技術(shù)的新行業(yè)挑戰值得探討。

隨著(zhù)更多產(chǎn)業(yè)玩家的推進(jìn)，我們已經(jīng)明顯感知到大模型投入大成本高。如果沒(méi)有足夠的資金和計算資源，就連開(kāi)發(fā)訓練這一階段都難以進(jìn)行。

據最新消息，OpenAI每天需要支付70萬(wàn)美元來(lái)維持ChatGPT基礎設施運行。在此之前微軟也已經(jīng)從中投入了數十億美元。

誠如每每有行業(yè)大佬選擇大模型創(chuàng )業(yè)，都有網(wǎng)友調侃：這點(diǎn)錢(qián)不夠燒的。

其次，大模型優(yōu)化難迭代要求高，需要自上而下的全局優(yōu)化。

以往認知中，大模型核心技術(shù)突破來(lái)源于暴力資源累積，可以是超大規模計算資源的聚集、超大規模模型結構的設計、海量數據亦或是參數量的提升……

但事實(shí)上這牽涉到每個(gè)環(huán)節自上而下很強的經(jīng)驗積累。

誠如OpenAI有業(yè)內人士消息稱(chēng)，它將整個(gè)公司最優(yōu)秀的算法研究員，拿去做數據規劃和處理。

現在在百度文心一言，也得到再一次印證：

大模型的突破和迭代，并非靠簡(jiǎn)單三駕馬車(chē)（算力算法數據）來(lái)驅動(dòng)，而是一整套從底層芯片框架到模型訓練推理等流程的系統工程化難題。

與此同時(shí)在這份數據中，也透露出了百度的經(jīng)驗解法：

全局技術(shù)棧，端到端優(yōu)化。

早在文心一言啟動(dòng)邀測時(shí)，李彥宏就已經(jīng)披露，百度將目前已有的AI技術(shù)棧自上而下分成了四個(gè)方面：應用層、模型層、框架層與芯片層。

四層架構之間端到端優(yōu)化，進(jìn)而來(lái)實(shí)現降本增效。此次飛槳與文心一言的聯(lián)合優(yōu)化，正好就是這套解法最直觀(guān)的展現。

飛槳之于文心一言，一方面其開(kāi)源分布式架構，可以支持模型大規模GPU并行訓練，以提升模型的性能和效率。另一方面，連接了芯片層與模型層，將整套流程設計得更加精密和適配。

甚至業(yè)內人士這樣形象化地形容：

大模型就像汽車(chē)的發(fā)動(dòng)機，要壓榨出發(fā)動(dòng)機瞬時(shí)最大爆發(fā)力（QPS）以及最優(yōu)的性能表現。

深度學(xué)習就像是發(fā)動(dòng)機的動(dòng)力源“變速箱“，可以讓發(fā)動(dòng)機整體部件組合更精密、動(dòng)力更強。

更關(guān)鍵在于，如果這幾層技術(shù)棧都是自主自研，那么協(xié)同合作就會(huì )更高效，效率提升也會(huì )更加明顯。

這些又意味著(zhù)什么？

最后，在這些行業(yè)挑戰和百度經(jīng)驗解法之中，也透露出了大模型發(fā)展的幾大趨勢。

首先，大模型想要跑得快跑得穩，必須端到端優(yōu)化。

OpenAI的成功一方面可以歸結于自身的人才技術(shù)以及長(cháng)期投入，另一方面微軟從框架到算力的支持，也在其中做出了關(guān)鍵貢獻，這才有了持續驚艷全球的ChatGPT。

只是當時(shí)這種端到端優(yōu)化的范式?jīng)]有被太多強調關(guān)注。而此次曝光的文心一言數據，則是更廣泛地證明了端到端優(yōu)化的優(yōu)勢。

以往大家所關(guān)注到的是大模型訓練中算力、算法以及數據的必要性。但底層比如深度學(xué)習框架，對大模型訓練推理的重要作用也應該被大家所廣泛感知。

其次，端到端優(yōu)化的趨勢，也正在改變大模型賽道游戲規則。

ChatGPT風(fēng)暴席卷而來(lái)，巨頭們紛紛進(jìn)場(chǎng)，大佬們前后腳創(chuàng )業(yè)，大模型人才被哄搶?zhuān)恐芏加猩锨€(gè)AI應用涌現……每個(gè)躬身入局的機構都在金錢(qián)、時(shí)間等方面進(jìn)行搶奪與追趕。在大模型的創(chuàng )業(yè)浪潮中，有人把入場(chǎng)券門(mén)檻認為5000萬(wàn)美元，窗口期大概在半年到一年。

但現在這種端到端優(yōu)化趨勢，正在讓創(chuàng )業(yè)窗口期越來(lái)越短。

原因無(wú)他，大模型雪球效應已經(jīng)開(kāi)始展現。

以百度為代表的大模型玩家，正在形成“架構-大模型-應用-數據”飛輪加速閉環(huán)。一方面，推理成本降低，加速大模型產(chǎn)業(yè)落地，甚至可能比上一波浪潮更快；另一方面，大模型迭代速度越來(lái)越快，產(chǎn)品應用具有長(cháng)期持續性，商業(yè)壁壘更容易建立，對下游生態(tài)玩家而言，這自然是剛需和利好。

但與之相關(guān)，大模型創(chuàng )業(yè)甚至產(chǎn)品發(fā)布的窗口期也正在被壓縮，留給大模型創(chuàng )業(yè)玩家的涌現的時(shí)間也不多了——

他們不光要準備金錢(qián)、時(shí)間等這些外在資源儲備，還需要考慮自身產(chǎn)品能否還具有競爭力。另外創(chuàng )業(yè)的必要性也正在減弱：就動(dòng)輒大幾千萬(wàn)甚至上億的入場(chǎng)券來(lái)說(shuō)，既沒(méi)有必要重復造輪子，也沒(méi)有端到端核心積累優(yōu)勢。

大模型創(chuàng )業(yè)的機遇，會(huì )開(kāi)始朝著(zhù)生態(tài)和應用創(chuàng )新傾斜。

但也正因如此，反而更加彰顯了大模型自主的重要性，因為太基礎、太底層、太需要把生態(tài)放在放心安心的國產(chǎn)層面了。

大模型趨勢再明晰不過(guò)，千行百業(yè)的落地價(jià)值也已經(jīng)預見(jiàn)，入局是必然，但之前是否需要按照地緣區域或國界劃分“造輪子”卻沒(méi)有共識——有些論點(diǎn)里，依然相信科學(xué)技術(shù)的進(jìn)展會(huì )普惠到全世界。

然而隨著(zhù)地球另一邊，OpenAI越來(lái)越Close，API輸出的區別對待，中國需要自己的大模型底座，正在成為共識。

有意思的是，這在芯片、深度學(xué)習框架、底層架構平臺的打造過(guò)程中，已經(jīng)有過(guò)一輪討論，有過(guò)一輪經(jīng)驗教訓，并且還被類(lèi)比為了汽車(chē)產(chǎn)業(yè)中的“發(fā)動(dòng)機”，最后明確“發(fā)動(dòng)機”必須要自主，這樣產(chǎn)業(yè)才真正安全。

然而到了大模型競速中，對于“變速箱”的認知，之前因為對大模型認知不完備，存在不同聲音，但此役過(guò)后，應該無(wú)人再有異議了。

畢竟百度已經(jīng)在打造、迭代的過(guò)程中，展現出了這種四層自研技術(shù)棧的端到端協(xié)同的必要性和重要性。

不過(guò)也正是這種必要性和重要性，進(jìn)一步明示了大模型打造的殘酷的游戲規則：

凡有的，還要加倍給他，叫他多余；沒(méi)有的，連他所有的也要奪過(guò)來(lái)。

這背后既是端到端全棧帶動(dòng)的壁壘，更是數據、應用驅動(dòng)飛輪之下越滾越大的雪球。

隨著(zhù)雪球向前，大模型產(chǎn)業(yè)落地的速度自然會(huì )加快，同時(shí)留給其他大模型玩家涌現的時(shí)間也越來(lái)越緊缺。

這種趨勢已經(jīng)開(kāi)始，這種趨勢還會(huì )持續。

本文作者：楊凈，本文來(lái)源：量子位，原文標題：《文心一言迭代數據曝光，QPS提升10倍，留給大模型創(chuàng )業(yè)玩家的涌現時(shí)間不多了》

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：