谷歌最新大語(yǔ)言模型PaLM 2，更細節內幕被曝出來(lái)了！

據CNBC爆料，訓練它所用到的token數量多達3.6萬(wàn)億。

這是什么概念？

(相關(guān)資料圖)

要知道，在去年谷歌發(fā)布PaLM時(shí)，訓練token的數量也僅為7800億。

四舍五入算下來(lái)，PaLM 2足足是它前身的近5倍！

（token本質(zhì)是字符串，是訓練大語(yǔ)言模型的關(guān)鍵，可以教會(huì )模型預測序列中出現的下一個(gè)單詞。）

不僅如此，當時(shí)谷歌發(fā)布PaLM 2時(shí)，只是提到“新模型比以前的LLM更小”。

而內部文件則是將具體數值爆料了出來(lái)——3400億個(gè)參數（初代PaLM是5400億）。

這表明，谷歌通過(guò)技術(shù)“buff加持”，在參數量更小的情況下，讓模型可以更高效地完成更復雜的任務(wù)。

雖然在已經(jīng)維持了數月的AIGC大戰中，谷歌一直“全軍出擊”，但對于訓練數據的大小或其他細節信息，卻是遮遮掩掩的態(tài)度。

而隨著(zhù)這次內部文檔的曝光，也讓我們對谷歌最in大語(yǔ)言模型有了進(jìn)一步的了解。

PaLM 2要在廣告上發(fā)力了

關(guān)于谷歌上周發(fā)布PaLM 2的能力，我們就不再詳細的贅述（可點(diǎn)擊此處了解詳情），簡(jiǎn)單總結下來(lái)就是：

接受了100多種語(yǔ)言的訓練，在語(yǔ)言理解、生成和翻譯上的能力更強，更加擅長(cháng)常識推理、數學(xué)邏輯分析。

數據集中有海量論文和網(wǎng)頁(yè)，其中包含非常多數學(xué)表達式。

支持20種編程語(yǔ)言，如Python、JavaScript等常用語(yǔ)言。

推出了四種不同size：“壁虎”版、“水獺”版、“野?！卑婧汀蔼毥谦F”版（規模依次增大）。

至于使用方面，谷歌在發(fā)布會(huì )中就已經(jīng)介紹說(shuō)有超過(guò)25個(gè)產(chǎn)品和應用接入了PaLM 2的能力。

具體表現形式是Duet AI，可以理解為對標微軟365 Copilot的一款產(chǎn)品；在現場(chǎng)也展示了在Gmail、Google Docs、Google Sheets中應用的能力。

而現在，CNBC從谷歌內部文件中挖出了其在PaLM 2應用的更多計劃——進(jìn)軍廣告界。

根據這份內部文件，谷歌內部的某些團隊現在計劃使用PaLM 2驅動(dòng)的工具，允許廣告商生成自己的媒體資產(chǎn)，并為YouTube創(chuàng )作者推薦視頻。

谷歌也一直在為YouTube的青少年內容測試PaLM 2，比如標題和描述。

谷歌在經(jīng)歷了近20年的快速發(fā)展后，現在已然陷入了多季度收入增長(cháng)緩慢的“泥潭”。

也由于全球經(jīng)濟大環(huán)境等原因，廣告商們也一直在在線(xiàn)營(yíng)銷(xiāo)預算中掙扎。

具體到谷歌，今年大多數行業(yè)的付費搜索廣告轉化率都有所下降。

而這份內部文件所透露出來(lái)的信號，便是谷歌希望抓住AIGC這根救命稻草，希望使用生成式AI產(chǎn)品來(lái)增加支出，用來(lái)增加收入并提高利潤率。

據文件顯示，AI驅動(dòng)的客戶(hù)支持策略可能會(huì )在100多種谷歌產(chǎn)品上運行，包括Google Play商店、Gmail、Android搜索和地圖等。

訓練數據缺乏透明度，越發(fā)被熱議

不過(guò)話(huà)說(shuō)回來(lái)，包括谷歌在內，縱觀(guān)大多數大語(yǔ)言模型玩家，一個(gè)較為明顯的現象就是：

對模型、數據等細節保密。

這也是CNBC直接挑明的一個(gè)觀(guān)點(diǎn)。

雖然很多公司都表示，這是因為業(yè)務(wù)競爭所導致的，但研究界卻不這么認為。

在他們看來(lái)，隨著(zhù)AIGC大戰的持續升溫，模型、數據等需要更高的透明度。

而與之相關(guān)的話(huà)題熱度也是越發(fā)的激烈。

例如谷歌Research高級科學(xué)家El Mahdi El Mhamdi便于二月份辭職，此舉背后的原因，正是因為他覺(jué)得公司缺乏透明度。

無(wú)獨有偶，就在OpenAI CEO Sam Altman參與聽(tīng)證會(huì )期間，便“反向”主動(dòng)提出立法者進(jìn)行監管：

如果這項技術(shù)出了問(wèn)題，那就可能會(huì )是大問(wèn)題……我們希望合作，防止這種情況發(fā)生。

截至發(fā)稿，對于CNBC所爆料的諸多內容，谷歌方面暫未做出回應。

本文作者：金磊，來(lái)源：量子位，原文標題：《谷歌PaLM 2細節曝光：3.6萬(wàn)億token，3400億參數》

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：