特邀國盛證券所長(cháng)助理、計算機首席分析師【劉高暢】帶來(lái)最新的觀(guān)點(diǎn)。

1、產(chǎn)業(yè)變革看什么：巨大的潛在空間和顛覆性，落地速度快不是核心，空間大更關(guān)鍵。

2、DeepSpeed Chat的優(yōu)勢是效率和經(jīng)濟性比較好，它的效率比其他系統快15倍以上，且具有出色的擴展性支持，可以應用于各種模型。

(相關(guān)資料圖)

3、Deep Speed-Chat應用的三種方式：

第一種方式是通過(guò) Fine-tune微調這種方式來(lái)進(jìn)行行業(yè)化，和know-how的融合；

第二種方式是通過(guò) plugin 接入到其他應用程序中，調用接口并使用其他工具；

第三種方式則是通過(guò)多模態(tài)的方式，使用的輸入輸出信號除了文字，還包括圖像、視頻輸出信號以及機器人指令。

4、在應用的爆發(fā)后，推理側的算力需求才是真正的爆發(fā)。使用量越大，對算力的需求就越高。

正文：

1999年整個(gè)互聯(lián)網(wǎng)行業(yè)的發(fā)展特點(diǎn)：巨大的潛在空間和顛覆性

在之前的幾次關(guān)于整個(gè) AI 時(shí)代的分享中，我們在去年底所有的行業(yè)策略中強調了 AI 這一重要方向。然而，事實(shí)證明 AI 的演變速度和擴散程度超出了我們的預期。與去年年底我們撰寫(xiě)年度策略時(shí)相比，AI 在這幾個(gè)月的演進(jìn)中得到了質(zhì)的提升。因此，我們將其作為幾個(gè)主線(xiàn)中最核心的方向之一。

以前我們列出了三個(gè)并列的主線(xiàn)，但現在我們認為 AI 是首選的主線(xiàn)。市場(chǎng)和產(chǎn)業(yè)發(fā)生了許多變化，主持人剛才也提到了 "AutoGPT" 和 "DeepSpeed chat"。市場(chǎng)有許多相關(guān)認知和領(lǐng)域方面的錯誤理解，我們今天分享的重點(diǎn)是這個(gè)行業(yè)的最新更新，幫助大家理清思路。

從行業(yè)中期的角度來(lái)看，我們之前撰寫(xiě)了一份有趣的報告，分析了 1999 年互聯(lián)網(wǎng)市場(chǎng)。我們認為，從產(chǎn)業(yè)的角度出發(fā)，我們應該淡化對投資本身的理解，那么這些年唯一可比的科技周期就是 1999 年。因此，我們回顧了當時(shí)的互聯(lián)網(wǎng)行情，并發(fā)現它們有幾個(gè)特點(diǎn)。

它們都是巨大的行業(yè)變革，同時(shí)處于產(chǎn)業(yè)的早期階段，因此很難看到營(yíng)收和盈利的變化。在早期階段，甚至產(chǎn)品形態(tài)、商業(yè)模式和競爭格局都不是很明確。然而，它們最可比的特點(diǎn)是具有巨大的潛在空間和顛覆性。

當我們回顧1999年整個(gè)互聯(lián)網(wǎng)行業(yè)的市場(chǎng)表現時(shí)，發(fā)現它的持續時(shí)間遠比大家預期的要長(cháng)。這一行情從1998年7、8月開(kāi)始，一直持續到2000年年底。在這一過(guò)程中，出現了許多倍數增長(cháng)的牛股，股票的漲幅多達8倍、10倍或者15倍，甚至更多。

因此，在大型科技行業(yè)的早期，整個(gè)產(chǎn)業(yè)積極地擁抱了這種新技術(shù)的變革，全社會(huì )也響應積極。市場(chǎng)也會(huì )給予這種可能性極強的獎勵。這一輪人工智能的發(fā)展，與當時(shí)的情況非常相似。巨大的技術(shù)變革和極大的社會(huì )影響力，它的影響不僅限于計算機行業(yè)的400家公司，也不僅限于A(yíng)股的4000家公司，它影響的是全體民眾的生活和工作，以及整個(gè)社會(huì )形態(tài)。它有可能極大地提升社會(huì )生產(chǎn)力，為我們民眾帶來(lái)巨大的便利性。但同時(shí)，它也具有極強的顛覆效應。因此，某些行業(yè)可能會(huì )受到影響，整個(gè)形態(tài)也可能會(huì )發(fā)生較大的變化。

DeepSpeed Chat的優(yōu)勢和應用

近期的 DeepSpeed Chat很多公眾號報道時(shí)寫(xiě)得非?？鋸?，稱(chēng)其為“全民大模型”，好像這樣的大模型開(kāi)始變得不值錢(qián)了，但事實(shí)上，DeepSpeed Chat并不是一個(gè)訓練預訓練大模型的工具，它更多的是在預訓練好的大模型的基礎上進(jìn)行強化學(xué)習調優(yōu)，也就是所謂的Fine-tune或微調方式。雖然絕大多數大模型具有非常強的通用性，但在具體細分領(lǐng)域可能無(wú)法提供足夠的準確性。

例如，如果將 ChatGPT在3.5階段的模型用于醫療診斷，準確率可能只有 87%。因此，我們需要使用行業(yè)化、專(zhuān)業(yè)的數據和知識，以及know-how來(lái)訓練模型，使其成為一個(gè)準確性更高的醫生。

在這個(gè)過(guò)程中，Fine-tune需要特定領(lǐng)域的數據，以及一定模型的基礎，在傳統原有模型的基礎上，再來(lái)訓練提高準確性。這種過(guò)程類(lèi)似于強化學(xué)習， Deep Speed-Chat 主要加速的就是這個(gè)環(huán)節。該引擎具有三個(gè)主要優(yōu)點(diǎn)：

第一個(gè)優(yōu)勢是效率和經(jīng)濟性比較好，它的效率比其他系統快15倍以上。它相對高效地利用了GPU，不像其他方式可能只能利用GPU的10％或甚至5％性能。

第二個(gè)優(yōu)勢是它具有出色的擴展性支持，可以應用于各種模型，不僅僅是像Hugging Face的Bloom這樣的模型，還包括像openAI的ChatGPT，GPT-3還有各類(lèi)的GPT3模型。它一天之內的訓練速度也很快，可以對一個(gè)龐大的175B模型進(jìn)行Fine-tune。并且它的算力消耗也很親民，只需要一個(gè)GPU就可以支持超過(guò)130億個(gè)參數的模型。

Deep Speed-Chat會(huì )帶來(lái)非常明確的影響，應用主要通過(guò)三種方式：

第一種方式是通過(guò) Fine-tune微調這種方式來(lái)進(jìn)行行業(yè)化，和know-how的融合；

第二種方式是通過(guò) plugin 接入到其他應用程序中，調用接口并使用其他工具；

第三種方式則是通過(guò)多模態(tài)的方式，使用的輸入輸出信號除了文字，還包括圖像、視頻輸出信號以及機器人指令。通過(guò)使用 DeepSpeed Chat，也可以降低某些工程難度，使中小型應用程序制造商能更輕松地將 ChatGPT 用于各種應用程序，如醫生、老師、金融分析師等，并且可以用于其他方案。

因此，整個(gè) ChatGPT 的可能性擴張速度將會(huì )加快，這種完整的開(kāi)發(fā)工具對應用的成型有非常強的幫助。

另外一點(diǎn)容易被誤解的是，使用DeepSpeed Chat后，訓練時(shí)需要的大量算力就會(huì )縮減，但事實(shí)上，這種觀(guān)點(diǎn)是有偏差的。正如我們之前所提到的，在整個(gè)訓練過(guò)程中，包括預訓練階段和強化學(xué)習階段，還有很多InstructGPT 的過(guò)程，這是一個(gè)教育和指導的過(guò)程，就像我們教小孩子一樣，我們會(huì )指導他們遵循正確的指令和提升道德水平。預訓練階段，包括編寫(xiě)代碼的階段更多地提高了它的邏輯水平。

相比于預訓練階段，強化學(xué)習在整個(gè)訓練過(guò)程中所需的計算資源占比非常小，如果僅僅是強化學(xué)習的話(huà)，它可能只占整個(gè)訓練過(guò)程的千分之一以下。

但結合一些其他的 Fine-tune，可能需求會(huì )多一些。但總體而言，在整個(gè)訓練過(guò)程中，它的占比會(huì )非常少。

另一個(gè)知識點(diǎn)是，在強化學(xué)習中訓練的占比已經(jīng)足夠小了。在整個(gè)模型的訓練和推理過(guò)程中，我們認為在應用的爆發(fā)后，推理側的算力需求才是真正的爆發(fā)。使用量越大，對算力的需求就越高。

相對于訓練端，這種需求可能是5倍、10倍，甚至更高。因此，需要多少算力取決于應用。DeepSpeed Chat加速了各種應用的落地，因此我們認為中期算力需求有望迎來(lái)一個(gè)極大的爆發(fā)。

AutoGPT是什么

很多人關(guān)注AutoGPT。AutoGPT是一種自主反饋和改進(jìn)的行為。初始時(shí)，它有許多身份設定和目標存在。該產(chǎn)品展示了整個(gè)流程，并提供了一些演示和連接，比如你可以輸入AI名稱(chēng)和角色來(lái)定位身份。在此輸入的AI是為了自動(dòng)發(fā)展和實(shí)現商業(yè)目標，如增加凈值。

所以交易中的 GPT是指定增加凈值的，設定五個(gè)目標是為了完成任務(wù)。GPT 開(kāi)始產(chǎn)生邏輯鏈以實(shí)現這些目標，給出理由并制定計劃。完成目標的計劃通過(guò)反思和下一步操作來(lái)實(shí)現。這個(gè)過(guò)程循環(huán)不停以達到目標。

在這個(gè)例子中，展示了一個(gè) Chef GPT，即廚師的 GPT。它的設計初衷是通過(guò)瀏覽網(wǎng)頁(yè)和觀(guān)察事件來(lái)創(chuàng )造一個(gè)獨特的菜單，這個(gè)菜單能夠與特定的主題相匹配。它的一個(gè)目標就是發(fā)明一個(gè)不在菜單中的菜譜，然后將其保存下來(lái)以適應這個(gè)特定事件。在完成這個(gè)目標前，它會(huì )不斷推導和搜索相關(guān)的新聞和事件，以形成新的菜單。如果沒(méi)有形成菜單，它會(huì )將其跳過(guò)并繼續搜索，這個(gè)過(guò)程中會(huì )有不斷的思考。
AutoGPT就是這樣的一個(gè)過(guò)程，它把 GPT融合起來(lái)，形成了一個(gè)能夠自我反饋、自我思考，不斷去演繹邏輯的方案。等于把一個(gè)簡(jiǎn)單的指令和目標指出來(lái)后，讓它發(fā)散，然后讓它去審視之后的結果。

所以 AutoGPT是一個(gè)很有意思的產(chǎn)品，它的應用空間也比較大，給一個(gè)簡(jiǎn)單的指令，就可以不斷的去擴展、去融合，所以想象空間就比較大。這里強調一下，微軟 Copilot 大家也看得比較多了，SAM也是大家最近看的比較多的一個(gè)方向。事實(shí)上，SAM并不能夠取代機器視覺(jué)，因為 SEM 只是去分割任務(wù)，大家可以看到這個(gè)我們分割出來(lái)的效果，如果分割的效果比較好，那么識別的準確率也會(huì )大大提高。

互動(dòng)環(huán)節

見(jiàn)智研究：對于DeepSpeed Chat 來(lái)說(shuō)，企業(yè)會(huì )用到開(kāi)源的模型對這種類(lèi) ChatGPT 進(jìn)行微調，那么對企業(yè)來(lái)說(shuō)他們可能會(huì )遇到哪些難點(diǎn)？

劉高暢：

對企業(yè)來(lái)說(shuō)的，首先還是要有一定的大模型的知識，也不是說(shuō)所有企業(yè)的都有微調的基礎，也是需要專(zhuān)業(yè)的團隊來(lái)做。

第二點(diǎn)就是在微調的過(guò)程中，都是為了強化某一個(gè)領(lǐng)域的效果，這個(gè)時(shí)候，需要對這個(gè)場(chǎng)景有一個(gè)好的理解，并且要結合所需要的場(chǎng)景和應用，然后儲備足夠好的數據。

不是泛泛而談的數據，而是真的對這種場(chǎng)景應用有很大支撐的數據，然后進(jìn)行強化學(xué)習和訓練，才能很好地提升這個(gè)領(lǐng)域的效果。

第三點(diǎn)，對企業(yè)來(lái)說(shuō)，Fine-tune強化學(xué)習的過(guò)程當中，不只是單單地把它的專(zhuān)業(yè)度提升，它還有一個(gè)優(yōu)點(diǎn)就是我們可以把這個(gè)模型做小，因為大家知道大模型的參數規模都會(huì )比較大，對算力的消耗也比較大，那么在推理應用端的話(huà)經(jīng)濟性不足。

那么Fine-tune 的微調，所需要考慮的就是有沒(méi)有辦法在保持效果的情況下，把模型做得相對來(lái)說(shuō)小一些，那么它的經(jīng)濟效益就會(huì )更好。

見(jiàn)智研究：怎樣看待中小企業(yè)自己研發(fā)大模型的路徑？

劉高暢：

中小企業(yè)研發(fā)大模型，就是你也不能太小，因為我們考慮過(guò)你這個(gè)模型需要先做大再做小，你即使做行業(yè)模型，一般來(lái)說(shuō)也是這種多模態(tài)的模型，基本上模型規模我們認為融合起來(lái)至少也是在 500 億參數以上，純視覺(jué)大模型你是可以做到幾十億參數的，不過(guò)那個(gè)意義不大。

一旦和 GPT 融合，然后用這種視覺(jué)大模型的形式，我們認為至少有一定的泛化能力，至少應該是在一個(gè)小幾百億參數，這個(gè)是必須的。小幾百億參數，這種行業(yè)的模型要達到比較好的效果和比較好的應用，我們認為整個(gè)研發(fā)的投入，應該也在一兩個(gè)億以上。而且它對于這種人才的儲備，還有行業(yè)的客戶(hù)數據的儲備，還有 know-how 的儲備，其實(shí)要求都還是比較高的。

所以我們認為很多初創(chuàng )公司有人才的基礎上，它是可以做這樣的大模型的，但是對所有的絕大部分的中小企業(yè)來(lái)說(shuō)，我們認為這個(gè)門(mén)檻相對來(lái)說(shuō)比較高，所以盡量不要一開(kāi)始就做大模型，最好是結合一些比較成型的，比如說(shuō)像開(kāi)源的hugging face等等。

見(jiàn)智研究：對專(zhuān)用領(lǐng)域的企業(yè)來(lái)說(shuō)是否會(huì )傾向于模型壓縮以及本地化的部署？

劉高暢：

對很多場(chǎng)景來(lái)說(shuō)模型壓縮應該就是蒸餾和裁剪這兩個(gè)方式，這個(gè)是一定會(huì )做的。我們剛才講 Fine-tune的時(shí)候，它也進(jìn)行了這種方式。所以你在具體的細分行業(yè)，你是可以蒸餾和裁剪的比例是比較高的。像ChatGPT ，它在應用的過(guò)程當中它為了保持通用性，它大概裁剪的模型規模，就是對算力的損耗大概是降低了90%。那可能在細分的領(lǐng)域來(lái)講，這種模型的蒸餾和裁剪我們認為應該是可降低在 90% 以上，好的話(huà)可以在 95% 以上這樣的水平。本地化部署，我們覺(jué)得相對來(lái)講難度會(huì )比較高。

見(jiàn)智研究：對于開(kāi)源模型來(lái)說(shuō)，開(kāi)源商的授權問(wèn)題是否值得關(guān)注？

劉高暢：

開(kāi)源商的授權問(wèn)題是肯定需要關(guān)注的，因為無(wú)論是在這種 GitHub 還是像 hugging face 里面，如果自己用還好，但是如果說(shuō)來(lái)進(jìn)行這種商業(yè)化去推廣，你的整個(gè)合法性就會(huì )受到考驗。在一些非允許的區域或者說(shuō)領(lǐng)域內，你用它的底層的模型，開(kāi)源模型做訓練。就像我們之前，比如中國軟件以前做操作系統這種服務(wù)器操作系統，它的麒麟操作系統的底層可能是 CentOS。一旦把這一塊禁了之后，大規模的商業(yè)化就會(huì )受影響，很多客戶(hù)也會(huì )不愿意用這樣的一個(gè)合法性存疑的模型，所以在商業(yè)化的過(guò)程中是受影響的。但是在這個(gè)自己就是說(shuō)單獨使用的過(guò)程當中，這個(gè)是不受影響的。

見(jiàn)智研究：Meta 的SAM 模型在是否在產(chǎn)業(yè)當中已經(jīng)有一些最新的進(jìn)展了？

劉高暢：

SAM它整個(gè)推出來(lái)的時(shí)間不長(cháng)，我們這里也講了它的功能主要是分割，也叫 segment anything model，然后它這里面其實(shí)是融合了很多算法，包括像 ViT 這種算法一些思想也是融在其中。這個(gè)后面就是它對這種通用的視覺(jué)。比如說(shuō)在機器人的運行過(guò)程當中，那么它可以去區分，要讓每一塊物體進(jìn)行這種自動(dòng)的分割，然后你的注意力注意到哪個(gè)模塊，它才進(jìn)行這種識別。

那這樣的自動(dòng)分割，然后再加識別的方式，它對節省算力，還有像人一樣的這個(gè)智能其實(shí)是非常像的，就是我們一看看到眼中的圖像當中，我們可以其實(shí)知道是很多模塊，但是我們不仔細去看某一個(gè)領(lǐng)域，我們可能很多細節很多點(diǎn)是看不清楚的。那么它這個(gè)就是先分割，然后再重點(diǎn)關(guān)注再識別，這個(gè)可以大大的去提升視覺(jué)的效率還有準確度。

見(jiàn)智研究：多模態(tài)在視頻應用上有什么最新的進(jìn)展？

劉高暢：

多模態(tài)視頻這個(gè)其實(shí)是大家的一個(gè)誤區，大家覺(jué)得視頻才是真實(shí)的世界，但實(shí)際上視頻的話(huà)就是一秒 24 幀的這個(gè)圖片。在多模態(tài)發(fā)展到今天的話(huà)，其實(shí)產(chǎn)業(yè)都在進(jìn)步。在分割的這個(gè)環(huán)節上有 SAM 出來(lái)，然后在識別的這個(gè)環(huán)境上，我們也看到了像這種 Google 2 月份發(fā)的這個(gè)ViT-22B，也就是大家講的這個(gè)視覺(jué)大模型，真正就真的把這個(gè)大模型從 30 億參數擴展到了 220 億，再加上這樣的一個(gè)圖生文的模型之后，我們看到 GPT 的發(fā)展有這種智能化的這個(gè)反饋了。

現階段我們看到的是搜索輔助編程、聊天機器人的應用，但是未來(lái)我們會(huì )看到很多這種簡(jiǎn)單多模態(tài)的方案，像這種智能家居的工業(yè)視覺(jué)，工業(yè)檢測，通用的AGV等等。

落地速度快其實(shí)不是一個(gè)選擇的標準，未來(lái)的發(fā)展空間大才是最好的一個(gè)選擇標準?，F階段的話(huà)我們看到的比較快的是搜索，是輔助的編程，是各種聊天機器人的變種落地快，在中期來(lái)看的話(huà)，既能快速落地，又有比較大的空間。我們看到是 office 類(lèi)的工具，簡(jiǎn)單多模態(tài)的這種方案，行業(yè)的專(zhuān)家智能助理，接下來(lái)的這個(gè)半年到 3 年內，應該會(huì )給大家不斷地產(chǎn)生各種各樣驚喜。

未經(jīng)授權，禁止轉載。

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：