過(guò)去十年來(lái)，人工智能領(lǐng)域經(jīng)歷了從小模型到以Transformer為代表的大模型的百花齊放。直到ChatGPT橫空出世，才終于將簡(jiǎn)潔、易用的“通用人工智能”帶入了大眾視野。英偉達CEO黃仁勛曾多次表示，他相信ChatGPT的誕生，意味著(zhù)人工智能的iPhone時(shí)刻。這款革命性產(chǎn)品的背后，是OpenAI十年磨一劍的GPT系列大模型。

【資料圖】

AI算法模型作為產(chǎn)業(yè)的核心環(huán)節，其本身的技術(shù)路線(xiàn)，將直接決定AI產(chǎn)業(yè)鏈最終形態(tài)，以及各產(chǎn)業(yè)環(huán)節的分工協(xié)作方式、價(jià)值分配結構等。

那么，GPT系列大模型會(huì )成為AI算法模型的終極答案嗎？

通過(guò)對AI發(fā)展技術(shù)路線(xiàn)的梳理，中信證券分析師陳俊云、許英博等指出，GPT模型在交互邏輯、內容生成和理解上具備獨特優(yōu)勢，AI算法模型最終會(huì )普遍朝GPT方向靠攏。

AI技術(shù)路徑四階段

從人工智能這個(gè)概念在1950年被提出開(kāi)始，已經(jīng)經(jīng)歷了從規則學(xué)習到機器學(xué)習再到神經(jīng)網(wǎng)絡(luò )的關(guān)鍵轉變。分析師強調，本輪人工智能的技術(shù)突破都是基于在神經(jīng)網(wǎng)絡(luò )技術(shù)上的不斷進(jìn)步。過(guò)去10年里，AI模型經(jīng)歷了從小模型到以Transformer為代表的大模型的轉變。

而細分近十年來(lái)模型發(fā)展的進(jìn)步，分析師觀(guān)察到了從以CNN、DNN為代表的傳統神經(jīng)網(wǎng)絡(luò )小模型到以Transformer為代表的神經(jīng)網(wǎng)絡(luò )大模型轉變的趨勢。

具體來(lái)看，全球AI行業(yè)最近10年的發(fā)展歷史，可以總結為4個(gè)階段：

1）2017年前：

以深度學(xué)習為核心的小模型占據主流：這類(lèi)模型以L(fǎng)STM及CNN模型作為典型的特征抽取器，根據特定領(lǐng)域標注數據訓練，在一些任務(wù)上可以達到接近人類(lèi)的水準。但是硬件算力不夠導致針對其他領(lǐng)域重新訓練成本過(guò)高，讓其通用型任務(wù)的完成情況較差。

2）2017年到2020年：

以谷歌Bert為代表的雙向預訓練+FineTuning（微調）的Transformer模型橫空出世成為了人工智能的主流方向。

谷歌研究團隊發(fā)表的《Attention is all you need》論文（作者：Ashish Vaswani，Noam Shazeer，Niki Parmar等）開(kāi)創(chuàng )了Transformer模型，重新統一了自然語(yǔ)言模型 (NLP) 的研究范式。

這類(lèi)模型以預訓練的方式學(xué)習語(yǔ)言學(xué)特征，大幅簡(jiǎn)化了過(guò)去NLP繁瑣的研究種類(lèi)。Transformer作為特征提取器效果好于CNN、LSTM模型等，在信息容納能力、并行計算等方面明顯占優(yōu)，讓AI首次能在語(yǔ)言任務(wù)的部分場(chǎng)景中追平人類(lèi)。

3）2020年到2022年：

產(chǎn)業(yè)界與學(xué)術(shù)界繼續沿著(zhù)Transformer的道路前景，但開(kāi)始嘗試不同于Bert的其他Transformer架構，通過(guò)預訓練無(wú)監督學(xué)習的方法不斷增加模型體積成為了這一時(shí)段的主流。

以1750億參數的GPT-3為代表，各大互聯(lián)網(wǎng)巨頭不斷嘗試增加模型體積以獲得更好的效果。

GPT-3為代表的自回歸+Prompting的方法開(kāi)始展現產(chǎn)品化能力的優(yōu)越性，與Fine-tuning方法的Bert模型成為兩條道路。

相比于Bert，GPT-3的自回歸+Prompting在產(chǎn)品化能力展現出了兩個(gè)優(yōu)點(diǎn)：

Fine-tuning對于小公司更難部署，從產(chǎn)品化的角度上更加困難；Prompting的方法更符合我們對以人類(lèi)的方式使用AI的愿望，并實(shí)現了人、模型之間的自然交互。

谷歌等巨頭在這一階段也意識到了Prompting方法的重要性，逐漸開(kāi)始轉向。

國內AI研究在這一段時(shí)間內出現了明顯落后，仍然沿著(zhù)Bert模型的方向繼續前進(jìn)，對GPT-3的研究很少；同時(shí)受制于中文優(yōu)質(zhì)語(yǔ)料的缺乏，模型大小也較難提升。

4）2022年至今：

ChatGPT的成功證明了GPT模型的Prompting道路的正確性，同時(shí)也強調了數據質(zhì)量的重要性。

ChatGPT最重要的成功是在產(chǎn)品化上更進(jìn)一步：ChatGPT在模型精度上并沒(méi)有飛躍性的突破，但從Few Shot prompt（需要輸入少量范例示范）轉換到Instruct（用人類(lèi)語(yǔ)言描述想做什么）更加貼合用戶(hù)的習慣。

GPT更接近“通用人工智能”

分析師總結稱(chēng)，盡管Prompting雖然犧牲了部分精度，但無(wú)需用任務(wù)區分器區別不同的任務(wù)，更接近于大眾所理解的“通用人工智能”。

此前大眾此前接觸的人工智能如·Siri、小愛(ài)、小度音箱等，通過(guò)以任務(wù)分類(lèi)的形式運行，準備不同任務(wù)的標注數據分別進(jìn)行訓練，是傳統的Bert類(lèi)模型。

簡(jiǎn)單來(lái)說(shuō)，將預先設置好的任務(wù)類(lèi)型放于模型背后，使用者通過(guò)描述任務(wù)類(lèi)型系統來(lái)匹配對應的模塊，缺點(diǎn)是使用者的指令需要清晰且無(wú)法執行沒(méi)有預先設置的任務(wù)類(lèi)型。

而GPT類(lèi)模型面對用戶(hù)不同的輸入，模型可以自行判斷給了用戶(hù)更好的體驗，這也更接近于大眾理解的“通用人工智能”。

華爾街見(jiàn)聞此前多次提及，除了文字領(lǐng)域，LLM（大語(yǔ)言模型）已經(jīng)被應用于圖像、音視頻等場(chǎng)景的問(wèn)題求解中，并不斷取得理想的效果。

而在LLM模型的技術(shù)路線(xiàn)上，GPT在內容生成、理解上的良好表現，以及更為可行的人、模型交互方式（prompt提示詞），讓GPT有望成為算法模型的終極答案。

本文主要觀(guān)點(diǎn)來(lái)自中信證券陳俊云（執業(yè)：S1010517080001）等發(fā)布的報告《GPT 會(huì )是 AI 算法模型的終極答案嗎？》，有刪節

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：