ChatGPT引爆的AI熱潮也“燒到了”金融圈，彭博社重磅發(fā)布為金融界打造的大型語(yǔ)言模型（LLM）——BloombergGPT。

3月30日，根據彭博社最新發(fā)布的報告顯示，其構建迄今為止最大的特定領(lǐng)域數據集，并訓練了專(zhuān)門(mén)用于金融領(lǐng)域的LLM，開(kāi)發(fā)了擁有500億參數的語(yǔ)言模型——BloombergGPT。

(資料圖片僅供參考)

報告顯示，該模型依托彭博社的大量金融數據源，構建了一個(gè)3630億個(gè)標簽的數據集，支持金融行業(yè)內的各類(lèi)任務(wù)。該模型在金融任務(wù)上的表現遠超過(guò)現有模型，且在通用場(chǎng)景上的表現與現有模型也能一較高下。

一般來(lái)說(shuō)，在NLP領(lǐng)域，參數數量和復雜程度之間具有正相關(guān)性，GPT-3.5模型的參數量為2000億，GPT-3的參數量為1750億。

關(guān)于BloombergGPT

報告指出，研究人員利用彭博社現有的數據，對資源進(jìn)行創(chuàng )建、收集和整理，通過(guò)構建迄今為止最大的特定領(lǐng)域數據集來(lái)完成BloomberGPT，并基于通用和金融業(yè)務(wù)的場(chǎng)景進(jìn)行混合模型訓練：

彭博社主要是一家金融數據公司，數據分析師在公司成立的四十年的時(shí)間里收集了大量的金融文件，擁有廣泛的金融數據檔案，涵蓋了一系列的主題。

我們將這些數據添加到公共數據集中，以創(chuàng )建一個(gè)擁有超過(guò)7000億個(gè)標簽的大型訓練語(yǔ)料庫。

使用這個(gè)訓練語(yǔ)料庫的一部分，我們訓練了一個(gè)具有彭博風(fēng)格的，達500億參數的模型，該模型是根據Hoffmann和Le Scao等人的指導方針設計，基于通用和金融業(yè)務(wù)的場(chǎng)景進(jìn)行混合模型訓練。

結果表明，我們的混合訓練方法使我們的模型在金融任務(wù)上的表現大大超過(guò)了現有的模型，而在通用場(chǎng)景上的表現則與之相當甚至優(yōu)于現有模型。

1.BloombergGPT優(yōu)勢：特定領(lǐng)域模型仍有其不可替代性且彭博數據來(lái)源可靠

在論文中，彭博社指出，現階段，通用的自然語(yǔ)言處理模型可以涵蓋許多領(lǐng)域，但針對特定領(lǐng)域模型仍有其不可替代性，因彭博社的大多數應用均為金融領(lǐng)域，著(zhù)手構建了一個(gè)針對金融領(lǐng)域的模型尤其優(yōu)勢，同時(shí)可以在通用LLM基準測試上保持競爭力：

除了構建金融領(lǐng)域的LLM外，本文的經(jīng)驗也為其他研究領(lǐng)域的專(zhuān)用模型提供了參考。我們的方法是在特定領(lǐng)域和一般數據源上訓練LLM，以開(kāi)發(fā)在特定領(lǐng)域和通用基準上表現優(yōu)異的模型。

此外，我們的訓練數據不同于傳統的網(wǎng)絡(luò )爬取數據，網(wǎng)絡(luò )上的數據總有重復和錯誤，但我們的數據來(lái)源可靠。

2.BloombergGPT的訓練數據集：

BloombergGPT的訓練數據庫名為FINPILE，由一系列英文金融信息組成，包括新聞、文件、新聞稿、網(wǎng)絡(luò )爬取的金融文件以及提取到的社交媒體消息。

為了提高數據質(zhì)量，FINPILE數據集也使用了公共數據集，例如The Pile、C4和Wikipedia。FINPILE的訓練數據集中大約一半是特定領(lǐng)域的文本，一半是通用文本。為了提高數據質(zhì)量，每個(gè)數據集都進(jìn)行了去重處理。

對金融領(lǐng)域的理解更準

報告指出，在金融領(lǐng)域中的自然語(yǔ)言處理在通用模型中也很常見(jiàn)，但是，針對金融領(lǐng)域，這些任務(wù)執行時(shí)將面臨挑戰：

以情感分析為例，一個(gè)題為“某公司將裁員1萬(wàn)人”，在一般意義上表達了負面情感，但在金融情感方面，它有時(shí)可能被認為是積極的，因為它可能導致公司的股價(jià)或投資者信心增加。

報告指出，從測試來(lái)看，BloombergGPT在五項任務(wù)中的四項（ConvFinQA，FiQA SA，FPB和Headline）表現最佳，在NER（Named Entity Recognition）中排名第二。因此，BloombergGPT有其優(yōu)勢性。

測試一：ConvFinQA數據集是一個(gè)針對金融領(lǐng)域的問(wèn)答數據集，包括從新聞文章中提取出的問(wèn)題和答案，旨在測試模型對金融領(lǐng)域相關(guān)問(wèn)題的理解和推理能力。

測試二：FiQA SA，第二個(gè)情感分析任務(wù)，測試英語(yǔ)金融新聞和社交媒體標題中的情感走向。

測試三：標題，數據集包括關(guān)于黃金商品領(lǐng)域的英文新聞標題，標注了不同的子集。任務(wù)是判斷新聞標題是否包含特定信息，例如價(jià)格上漲或價(jià)格下跌等。

測試四： FPB，金融短語(yǔ)庫數據集包括來(lái)自金融新聞的句子情緒分類(lèi)任務(wù)。

測試五：NER，命名實(shí)體識別任務(wù)，針對從提交給SEC的金融協(xié)議中收集金融數據，進(jìn)行信用風(fēng)險評估。

對于ConvFinQA來(lái)說(shuō)，這個(gè)差距尤為顯著(zhù)，因為它需要使用對話(huà)式輸入來(lái)對表格進(jìn)行推理并生成答案，具有一定挑戰性。

ChatGPT為彭博點(diǎn)贊

華爾街見(jiàn)聞就這個(gè)問(wèn)題專(zhuān)門(mén)詢(xún)問(wèn)了ChatGPT，ChatGPT認為BloombergGPT是一項很有意義的技術(shù)進(jìn)步：

它是專(zhuān)門(mén)為金融領(lǐng)域開(kāi)發(fā)的一種語(yǔ)言模型，可以更好地處理金融領(lǐng)域的數據和任務(wù)，并且在金融領(lǐng)域的基準測試中表現出色。

這將有助于金融從業(yè)者更好地理解和應用自然語(yǔ)言處理技術(shù)，促進(jìn)金融科技的發(fā)展。同時(shí)，BloombergGPT還可以為其他領(lǐng)域的語(yǔ)言模型的發(fā)展提供參考和借鑒?？偟膩?lái)說(shuō)，BloombergGPT是一個(gè)有益的技術(shù)創(chuàng )新。

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：