自ChatGPT爆火，國內頭部平臺型公司一擁而上，先后發(fā)布AGI或垂類(lèi)LLM，但鮮有大模型基礎設施，比如向量數據庫。?

(資料圖)

7月4日，騰訊云彌補了這一不足，推出能被廣泛應用于大模型訓練、推理和知識庫補充等場(chǎng)景的騰訊云向量數據庫Tencent Cloud VectorDB，這是國內首個(gè)從接入層、計算層、到存儲層提供全生命周期A(yíng)I化的向量數據庫。?

什么是向量數據庫？騰訊的目的是什么？對B端應用方，這有什么好處？?

國內首個(gè)全生命周期VectorDB?

ChatGPT讓LLM成為AI賽道焦點(diǎn)，向量數據庫也由此成為熱門(mén)話(huà)題。向量數據庫就可為L(cháng)LM插上一個(gè)廉價(jià)但有效的“外接大腦”。?

這話(huà)怎么說(shuō)？?

首先，向量通常用于在多維空間中表示數據值/點(diǎn)的位置、特征或屬性；而向量數據是一種數學(xué)表達，即用一組有序的數值（通常是浮點(diǎn)數），表達一個(gè)對象或數據值/點(diǎn)。?

舉個(gè)例子，在計算機視覺(jué)中，可以通過(guò)數值（即像素值）表達圖像，這組數值構成一個(gè)向量。每個(gè)數值對應圖像某個(gè)像素的顏色強度。比如，一幅8x8的灰度圖像，即一個(gè)包含了64個(gè)數值的向量。?

其次，向量并非專(zhuān)用于A(yíng)GI，一開(kāi)始被用于推薦類(lèi)AI。由于向量能被用于在多維空間中的數據點(diǎn)的特性，因此被用于推薦類(lèi)AI的個(gè)性化推薦。在推薦系統中，無(wú)論是用戶(hù)，還是物品，都能用向量表示。?

比如，某個(gè)用戶(hù)對服飾顏色、款式、材質(zhì)、用途等有個(gè)性化偏好，這些偏好可用數值向量概括。通過(guò)計算用戶(hù)向量與物品向量之間的相似度，實(shí)現個(gè)性化推薦。?

在A(yíng)I世界中，向量被用于表達物理世界的萬(wàn)物，而LLM的興起，對向量數據的存儲和計算需求，得以大規模釋放。?

在2022年12月前，向量在各種AI推薦系統中已經(jīng)得到深度應用。正因為如此，向量數據才會(huì )散落在數量龐大的推薦系統文件中，沒(méi)有形成專(zhuān)門(mén)的向量數據庫。?

向量數據結構雖然較為簡(jiǎn)單，但因為應用場(chǎng)景極多，比如機器視覺(jué)、文本和圖像處理、神經(jīng)網(wǎng)絡(luò )、自然語(yǔ)言處理等多模型AGI領(lǐng)域，故算法也相應種類(lèi)繁多。?

在多系統中調取/檢索向量數據，耗費的GPU和CPU資源量級極為龐大，因而成本高而效率低下。騰訊云數據庫副總經(jīng)理羅云說(shuō)，“當我們使用向量數據庫Workload（工作量）越來(lái)越大，插件式數據庫就會(huì )面臨挑戰?！?

從2019年開(kāi)始，有些通用/插件數據庫，就開(kāi)始增加對向量數據庫的支持，比如ElasticSearch、Redis和PostgreSQL。?

騰訊云此次發(fā)布的向量數據庫，最早也是始于2019年。那會(huì )兒騰訊云推出一個(gè)叫做“OLAMA”的分布式向量數據庫存儲技術(shù)引擎，成為騰訊云向量數據庫底座之一。OLAMA目前可支持十億級別的單行向量數據索引、查詢(xún) QPS達到百萬(wàn)、響應延遲為20毫秒。?

從2019年開(kāi)始，騰訊云持續地豐富OLAMA引擎的AI能力，比如添加了好幾種向量索引算法，像Embedding算法和Segment算法，還包括NLP（自然語(yǔ)言）檢索能力等等。?

向量數據算法的作用是什么？?

簡(jiǎn)單地說(shuō)，怎么能更快速、更準確、更低成本和更低時(shí)延找到向量，以及如此找到那些更相似的向量，這是向量數據算法的目的，也是此次騰訊推出的向量數據庫改進(jìn)算法能力的體現。?

騰訊PCG大數據平臺部搜索推薦Senior Tech Lead鄭偉說(shuō)，“除了快速高效低時(shí)延，騰訊云向量數據庫另外一項大的改進(jìn)，就是在做到低成本的同時(shí)，OLAMA引擎的穩定性還得到了大幅提升?！?

第三，在應用性方面，騰訊云向量數據庫做了大量改進(jìn)，“怎樣能更自動(dòng)化、更智能地對外提供服務(wù)?！编崅フf(shuō)，“在大模型出來(lái)后，怎么樣能更好地貼合大模型做更多擴展，比如用戶(hù)只要敲敲鍵盤(pán)，就能通過(guò)用我們的向量數據庫，得到各種賬單、各種數據和各種報表等?！?

降本增效，提供記憶能力?

騰訊云推出專(zhuān)業(yè)向量數據庫，源自需求端的強力推動(dòng)。?

據羅云透露，“基本上每天不止1-2客戶(hù)前來(lái)咨詢(xún)向量數據庫什么時(shí)候能給他們使用?！?

向量數據庫有三個(gè)階段需求：第一個(gè)階段，類(lèi)型必須是向量數據庫。羅云說(shuō)，由于騰訊云從2019年就開(kāi)始持續迭代向量數據庫存檢引擎，到現在，這步已直接跨越；第二個(gè)階段，要解決成本問(wèn)題。比如單QPS（每秒查詢(xún)推理響應速度：Query Per Second）成本，需求方一次查詢(xún)需要花多少錢(qián)。?

第三個(gè)階段，就是B端用向量數據庫的易用性，這需要騰訊云具有豐富的行業(yè)的AI應用經(jīng)驗。向量數據庫，用于向量提供存儲和檢索，需求方要把非結構化數據（如一段文本變成向量），要把文本分段，分段之后要找到合理模型做Embedding（向量）。?

在ML（機器學(xué)習）和NLP中，Embedding是一個(gè)N維的實(shí)值向量，幾乎可用于表達/描述任何形式，如文本、聲音或視頻等。實(shí)值的Embedding能描述單詞語(yǔ)義，主要是因為Embedding向量能根據單詞在語(yǔ)言上下文（Context）中出現的形式達成學(xué)習。?

騰訊云向量數據庫已在QQ瀏覽器、騰訊視頻、騰訊游戲、QQ音樂(lè )、搜狗輸入法等30+業(yè)務(wù)場(chǎng)景中得到應用。當前，騰訊云團隊還處于滿(mǎn)足需求的第三個(gè)階段，重點(diǎn)是“圍繞AI化提升產(chǎn)品整體的應用性”，羅云說(shuō)。?

為什么LLM要用到向量搜索技術(shù)？?

如果給定一個(gè)對象，在一個(gè)集合中找到與之最相似的對象的過(guò)程，就是向量搜索。文本或圖片等內容，都能通過(guò)將其轉換為向量的表示方式，進(jìn)而將文本或圖片的相似度問(wèn)題轉換為向量的相似度問(wèn)題。?

這里有個(gè)問(wèn)題，就是LLM場(chǎng)景模型的上下文有個(gè)長(cháng)度限制。比如，ChatGPT 3.5上下文長(cháng)度限制是4k tokens。超出Context長(cháng)度，ChatGPT就會(huì )“失憶”，影響交互結果（或稱(chēng)Context Learning）的準確性。?

但是，向量搜索擁有的能力之一，就是將超出上下文長(cháng)度限制的文本劃分成較短的組（Chunks），再將不同的組轉換為Embedding。這就相當于向量搜索擁有記憶能力。LLM用向量數據庫，就類(lèi)似于有了一個(gè)外部大腦。通過(guò)Embedding，能找到與提示（Prompt）最相關(guān)的信息。?

從這個(gè)角度上說(shuō)，向量數據庫承擔了LLM的Context Learning的記憶任務(wù)，從而提高了GPT的交互準確性。?

此外，由于基于以Transform架構為基礎的LLM的AI訓練耗時(shí)長(cháng)，成本高，因此就很難將最新的素材（數據）加入LLM，這被稱(chēng)為L(cháng)LM的時(shí)效限制。若終端用戶(hù)又急需LLM數據做即時(shí)更新，這時(shí)向量數據庫的作用就很顯著(zhù)。?

LLM的空間限制也很明顯，比如B端用戶(hù)的私域數據，不方便提供給LLM訓練平臺做高頻集訓。這時(shí)，B端用戶(hù)就能將私域數據放在向量數據庫中，需要推理時(shí)，就臨時(shí)取調給LLM。這樣做的好處是數據安全，而且訓練效率高、成本低。?

為什么能實(shí)現這一點(diǎn)？?

因為向量數據庫專(zhuān)門(mén)用于存儲和查詢(xún)向量數據，業(yè)界稱(chēng)之為大模型的“海馬體”。?

騰訊云向量數據庫最高支持10億級向量檢索規模，延遲控制在毫秒級，相比傳統單機插件式數據庫檢索規模提升10倍，同時(shí)具備百萬(wàn)級每秒查詢(xún)（QPS）的峰值能力。?

將騰訊云向量數據庫用于大模型預訓練數據的分類(lèi)、去重和清洗相比傳統方式，能提升10倍效率。如將向量數據庫作為外部知識庫用于模型推理，則可降低2-4個(gè)數量級的成本。

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：