2023年3月30日，金融信息提供商彭博社發(fā)布了專(zhuān)為金融領(lǐng)域打造的大語(yǔ)言模型（Large Language Model，LLM）Bloomberg GPT。該模型依托彭博社的大量金融數據源，構建了一個(gè)3630億個(gè)標簽的數據集，支持金融行業(yè)內的各類(lèi)任務(wù)，在執行金融任務(wù)上的表現遠超過(guò)現有模型，在通用場(chǎng)景上的表現與現有模型也能一較高下。

華泰證券分析師謝春生（執業(yè)：S0570519080006）認為，掌握金融數據的國內廠(chǎng)商也有望復制Bloomberg GPT的路徑，實(shí)現大語(yǔ)言模型在金融場(chǎng)景的有效賦能。

(相關(guān)資料圖)

核心突破在于金融語(yǔ)料

盡管Bloomberg GPT的模型參數介于GPT-2與GPT-3之間。但BloombergGPT的金融垂直能力遠超GPT系列。

分析師指出：

根據論文《Bloomberg GPT: A Large Language Model for Finance》的模型介紹顯示，Bloomberg GPT同樣基于典型的Transformer架構，Bloomberg GPT的模型參數介于GPT-2與GPT-3之間，GPT-2模型參數為1.5億，GPT-3模型參數為1,750億，Bloomberg GPT的模型參數為500億。

官方論文《Bloomberg GPT: A Large Language Model for Finance》中的測試結果顯示，Bloomberg GPT在執行金融任務(wù)上的表現超過(guò)現有的通用LLM模型，在通用場(chǎng)景上的表現與現有通用LLM模型能力基本持平。

盡管Bloomberg GPT的模型參數相較于GPT-3較小，但分析師表示，依托彭博社的大量金融數據源，Bloomberg GPT在預訓練中獲得了大量高質(zhì)量金融數據，并對預訓練數據進(jìn)行了一系列的清洗、標注，Bloomberg GPT在通用能力與GPT-3基本持平的情況下，實(shí)現了金融垂直能力的大幅增強。

開(kāi)拓開(kāi)源模型+垂直數據的LLM新思路

Bloomberg GPT在開(kāi)發(fā)方式上有何獨特之處？分析師認為，在模型構建上，Bloomberg GPT顯示出了卓越的創(chuàng )新，為國內金融數據公司開(kāi)發(fā)大模型提供了有意義的路徑參考。

具體而言，主要體現在五個(gè)方面：

1）垂直領(lǐng)域語(yǔ)言模型：過(guò)去的大語(yǔ)言模型多為基于通用文本訓練的通用模型，垂直領(lǐng)域模型多為僅基于垂直領(lǐng)域數據訓練垂直模型，Bloomberg GPT開(kāi)創(chuàng )了通用+垂直的混合訓練方法，讓模型兼具通用性與專(zhuān)業(yè)性；

2）訓練數據：過(guò)去的大語(yǔ)言模型的預訓練數據很大程度上依賴(lài)于網(wǎng)頁(yè)抓取數據，如C4、ThePile、Wikipedia等，Bloomberg自建了高質(zhì)量的大規模金融數據集；

3）模型評估：Bloomberg在對模型進(jìn)行了公共、金融NLP基準測試之外，還對模型進(jìn)行了一系列基于Bloomberg內部任務(wù)的性能測試；

4）Token化（Tokenizer）：將訓練文本Token化是模型訓練的關(guān)鍵步驟，Bloomberg使用Unigram模型取代greedymerge-basedsub-word模型，實(shí)現更智能的token化轉換；

5）模型構建方法：以GPT-3、GPT-4為代表的大語(yǔ)言模型均由大型的專(zhuān)業(yè)人工智能團隊開(kāi)發(fā)，并且模型訓練需要大量算力；受益于開(kāi)源模型BLOOM的項目實(shí)踐與Bloomberg在垂直領(lǐng)域高質(zhì)量數據的深厚積累，Bloomberg GPT成功證明了一個(gè)中等規模的團隊可以在垂直領(lǐng)域的特定數據上生產(chǎn)同樣具有競爭力的大語(yǔ)言模型。

金融GPT未來(lái)可期

分析師認為，Bloomberg GPT未來(lái)有望應用于以下三大場(chǎng)景：

1）Bloomberg查詢(xún)語(yǔ)言的生成：Bloomberg GPT可以將用戶(hù)自然語(yǔ)言查詢(xún)轉換為有效的Bloomberg查詢(xún)語(yǔ)言，使與金融數據的交互更加自然；

2）新聞標題的建議：Bloomberg GPT可以為Bloomberg的新聞應用程序提供支持，協(xié)助新聞工作者完成新聞短標題的撰寫(xiě)；

3）金融問(wèn)答：得益于金融垂直領(lǐng)域知識的輸入，Bloomberg GPT可以更加準確地回答金融相關(guān)的問(wèn)題，例如在識別公司CEO的問(wèn)答上，Bloomberg GPT的回答相較通用模型更為準確。

分析師指出，作為并非聚焦人工智金融垂直領(lǐng)域廠(chǎng)商，Bloomberg為金融GPT發(fā)展提供了具有參考價(jià)值的有益示范。

掌握豐富的金融垂直知識與現有AI產(chǎn)品布局，基于高質(zhì)量的金融數據與開(kāi)源的大語(yǔ)言模型，同樣有機會(huì )打造專(zhuān)屬金融場(chǎng)景的大語(yǔ)言模型，實(shí)現大語(yǔ)言模型在金融場(chǎng)景的有效落地，讓大語(yǔ)言模型成為底層的AI操作系統。

本文主要觀(guān)點(diǎn)來(lái)自華泰證券分析師謝春生（執業(yè)：S0570519080006）撰寫(xiě)的報告《從BloombergGPT看金融GPT機遇》，有刪節

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：