(資料圖)

華爾街見(jiàn)聞按：

Character.ai是當下AI熱潮里最炙手可熱的創(chuàng )企明星之一。公司主打產(chǎn)品為可定制的AI聊天機器人，面向C端消費者娛樂(lè )需求，具備情感陪伴與設定虛構人物的能力。Charater.AI允許用戶(hù)自行創(chuàng )建具有特定個(gè)性、人設和知識儲備的聊天機器人，例如世界名人、歷史人物、文學(xué)影視虛構人物乃至動(dòng)物，為用戶(hù)提供新奇、強帶入感的聊天體驗。

今年年初，Charater.ai完成1.5億美元A輪融資，估值突破10億美元，晉升獨角獸，團隊僅有22人。

4月份，Character.ai首席執行官Noam Shazeer、前谷歌大腦團隊成員，接受了播客No Priors的采訪(fǎng)。

核心觀(guān)點(diǎn)：

1. 早在2021年，谷歌就已經(jīng)有能力在OpenAI之前搶先推出AI聊天機器人，但卻由于安全方面的顧慮而放棄，大公司畏首畏尾也成了他離開(kāi)谷歌、選擇創(chuàng )業(yè)的原因。

2. Character最大的優(yōu)勢在于其用戶(hù)導向的產(chǎn)品策略。完全可定制的AI聊天機器人成了許多人派遣孤獨的方式，一些用戶(hù)甚至表示，Character是他們的新任心理咨詢(xún)師。Noam認為，AI在情感支持方面有著(zhù)巨大的潛力。情感支持工作不需要很高的智力，例如，寵物狗能很好地完成情感支持工作，雖然狗并不聰明，也不會(huì )說(shuō)話(huà)，同理，一個(gè)參數有限的AI也能完成這項任務(wù)。

3.?數據要求往往會(huì )隨著(zhù)算力而指數級上升，但數據并不稀缺，互聯(lián)網(wǎng)能提供幾乎無(wú)限的數據，Character也在考慮用AI生成更多的數據。

4.?Character.ai目前還處在燒錢(qián)換規模階段，商業(yè)模式仍在探索中，未來(lái)團隊規模擴大后考慮開(kāi)拓TOB業(yè)務(wù)。

5.?Noam認為，AGI是很多AI創(chuàng )企的目標。但他創(chuàng )業(yè)的真正原因是想推動(dòng)技術(shù)發(fā)展，用技術(shù)攻克難題，如醫學(xué)上的疑難雜癥。他指出，AI能加速許多研究的進(jìn)程，與其直接研究醫學(xué)，不如研究AI。

以下為播客音頻逐字稿，ELAD與SARAH為節目主持人，為便于理解，部分段落有刪改。

早年谷歌工作經(jīng)歷，與transformer的誕生

ELAD：

你在NLP和AI方面工作了很長(cháng)時(shí)間。你在谷歌斷斷續續工作了17年，在谷歌的面試問(wèn)題圍繞著(zhù)拼寫(xiě)檢查解決方案。當我加入谷歌時(shí)，當時(shí)用于廣告定位的主要系統之一菲爾集群，我想這是你和喬治·赫瑞克寫(xiě)的。我想了解一下你在人工智能NLP語(yǔ)言模型方面的工作歷史，這一切是如何演變的，你是如何開(kāi)始的，是什么激發(fā)了你的興趣？

NOAM：

謝謝ELAD。是的，只是，總是自然而然地被吸引到AI上。希望它能讓電腦做一些聰明的事情。似乎是周?chē)钣腥さ挠螒?。我很幸運地在早期發(fā)現了谷歌，參與了很多那里的早期項目，也許你現在不會(huì )稱(chēng)之為人工智能。從2012年開(kāi)始，我加入了谷歌大腦團隊。和一群非常聰明的人，做一些有趣的事情。我以前從未做過(guò)深度學(xué)習或神經(jīng)網(wǎng)絡(luò )。

ELAD：

你是在2017年transformer論文的參與者之一，然后你參與了Mesh-TensorFlow的工作。你能談一下所有這些是如何進(jìn)行的嗎？

NOAM：

深度學(xué)習之所以成功，是因為它真的很適合現代硬件，你有這一代的芯片，在矩陣乘法和其他形式的東西，需要大量的計算相對于通信。因此，基本上深度學(xué)習真的起飛了，它的運行速度比其他任何東西都快成千上萬(wàn)倍。一旦我掌握了這方面的知識，就開(kāi)始設計那些真正聰明且運行速度快的東西。目前最令人興奮的問(wèn)題是語(yǔ)言建模。因為有無(wú)限量的數據，只要刮開(kāi)網(wǎng)絡(luò )，你就能得到所有你想要的訓練數據。

問(wèn)題的定義非常簡(jiǎn)單，就是預測下一個(gè)詞，胖貓咪坐在上面，下一個(gè)是什么。它非常容易定義，如果你能把它做得很好，那么你就能得到你現在看到的一切，而且你可以直接和這個(gè)東西對話(huà)，它真的是人工智能了。因此，大約在2015年左右，我開(kāi)始研究語(yǔ)言建模，并與循環(huán)神經(jīng)網(wǎng)絡(luò )打交道，這就是當時(shí)的偉大之處。然后transformer就出現了。

我無(wú)意中聽(tīng)到隔壁同事聊天，他們想用更好的東西來(lái)取代循環(huán)神經(jīng)網(wǎng)絡(luò )。我當時(shí)想，這聽(tīng)起來(lái)不錯，我想幫忙，循環(huán)神經(jīng)網(wǎng)絡(luò )很煩人，這將會(huì )更有趣。

ELAD：

你能快速描述一下循環(huán)神經(jīng)網(wǎng)絡(luò )和基于transformer或基于注意力的模型之間的區別嗎？

NOAM：

循環(huán)神經(jīng)網(wǎng)絡(luò )是連續的計算，每一個(gè)詞你都會(huì )讀到下一個(gè)詞，你會(huì )根據你大腦的舊狀態(tài)和下一個(gè)詞的內容來(lái)計算你當前的大腦狀態(tài)。然后你，你預測下一個(gè)詞。因此，你有這個(gè)非常長(cháng)的計算序列，必須按順序執行，所以，transformer的神奇之處在于，你可以一次處理整個(gè)序列。

對后面的詞的預測取決于前面的詞是什么，但它發(fā)生在一個(gè)恒定的步驟中，你可以利用這種并行性，你可以一次看完整個(gè)事情，就像現代硬件所擅長(cháng)的并行性。

現在你可以利用序列的長(cháng)度，你的并行性，一切都工作得非常好。注意力本身。這有點(diǎn)像你在創(chuàng )建這個(gè)大的內存鍵值關(guān)聯(lián)，你就像在建立這個(gè)大的表格，在序列中的每個(gè)詞都有一個(gè)條目。然后你就在這個(gè)表中尋找東西。這一切都像模糊的、微分的和一個(gè)大的、法國的函數，你可以通過(guò)它來(lái)進(jìn)行反推。人們一直在使用這個(gè)方法來(lái)解決有兩個(gè)序列的問(wèn)題，在那里你有機器翻譯，你就像把英語(yǔ)翻譯成法語(yǔ)，所以當你產(chǎn)生法語(yǔ)序列時(shí)，你就像在看英語(yǔ)序列并試圖注意該序列中的正確位置。但這里的洞察力是，你可以用同樣的注意力來(lái)回顧你試圖制作的這個(gè)序列的過(guò)去。美中不足的是，它在GPU和GPU上運行得很好，這與深度學(xué)習的發(fā)展是并行的，因為它在現有的硬件上很好。而這也給序列帶來(lái)了同樣的東西。

SARAH：

是的，我認為幫助人們想象它的經(jīng)典例子是，用法語(yǔ)和英語(yǔ)說(shuō)同一個(gè)句子，單詞的排序是不同的，你不是在那個(gè)序列中一對一的映射，并且要弄清楚如何在沒(méi)有信息損失的情況下用并行計算做這個(gè)。所以這就像一個(gè)非常優(yōu)雅的事情。

ELAD：

似乎該技術(shù)也被應用于各種不同的領(lǐng)域。明顯的是這些多模態(tài)的語(yǔ)言模型。所以它是像聊天GPT或你正在做的一個(gè)角色。我也對一些應用感到驚訝，比如阿爾法折疊，谷歌所做的蛋白質(zhì)折疊工作，它實(shí)際上是以一種巨大的性能方式工作的。是否有任何應用領(lǐng)域，你發(fā)現相對于transformer的工作方式和相對于它們能做的事情來(lái)說(shuō)，真的是意想不到的？

NOAM：

我只是在語(yǔ)言上低下了頭，就像這里你有一個(gè)問(wèn)題，可以做任何事情。我希望這個(gè)東西足夠好。所以我就問(wèn)它，你怎么治好癌癥？然后它就像發(fā)明了一個(gè)解決方案。所以，我一直完全忽略了大家在所有這些其他模式下所做的事情，我認為很多深度學(xué)習的早期成功都是在圖像方面，人們對圖像都很興奮，但卻完全忽略了它。因為，一張圖片勝過(guò)千言萬(wàn)語(yǔ)，但它有一百萬(wàn)個(gè)像素，所以文字的密度是它的一千倍。所以，我是一個(gè)大的文字粉絲。但是，看到它在所有這些其他方式中起飛，非常令人興奮。這些東西是偉大的。它對建立人們想要使用的產(chǎn)品超級有用，但我認為很多核心的智能將來(lái)自這些文本模型。

大模型的局限性：算力不是問(wèn)題，數據也不是

ELAD：

你認為這些模型的局限性在哪里？人們經(jīng)常談?wù)摰闹皇且幠?，就像你只是扔了更多的算力，這個(gè)東西將進(jìn)一步擴展。有數據和不同類(lèi)型的數據，可能有也可能沒(méi)有。還有算法上的調整，還有添加新的東西，如內存或回環(huán)或類(lèi)似的東西。你認為什么是人們仍然需要建立的大事情，你認為作為一個(gè)架構，它在哪里被挖掘出來(lái)？

NOAM：

是的，我不知道它是否會(huì )被淘汰。我的意思是，我們還沒(méi)有看到它退出來(lái)。與進(jìn)入它的工作量相比，可能不算什么。因此，很可能會(huì )有各種像兩個(gè)低效率的因素，人們會(huì )通過(guò)更好的訓練算法、更好的模型架構、更好的構建芯片和使用量化的方法以及像所有這些來(lái)獲得。然后會(huì )有10個(gè)、100個(gè)和1000個(gè)的因素，就像擴展和金錢(qián)一樣，人們會(huì )扔到這個(gè)東西上，因為嘿，每個(gè)人都剛剛意識到這個(gè)東西是非常有價(jià)值的。同時(shí)，我認為沒(méi)有人看到這東西有多好的一面墻。所以我認為它只是，它只是會(huì )繼續變得更好。我沒(méi)有，我不知道是什么阻止了它。

SARAH：

你怎么看這種想法，我們可以增加算力，但最大的模型訓練數據不夠。我們已經(jīng)使用了互聯(lián)網(wǎng)上所有容易獲得的文本數據。我們必須去提高質(zhì)量，我們必須去做人類(lèi)反饋。你是怎么想的。

NOAM：

100億人，每個(gè)人產(chǎn)出一千或者一萬(wàn)個(gè)單詞，就是天量級的數據。大家都會(huì )做很多與人工智能系統的對話(huà)。所以我，我有一種感覺(jué)，很多數據將進(jìn)入一些人工智能系統，我的意思是以保護隱私的方式，我希望可以去的這些數據。然后，數據要求往往會(huì )隨著(zhù)算力而指數級上升，因為你要訓練一個(gè)更大的模型，然后你要向它扔更多的數據。我并不擔心缺少數據，我們也許可以用AI生成更多的數據。

ELAD：

然后你認為這些模型今后要解決的主要問(wèn)題是什么？是幻覺(jué)，是記憶，還是別的什么？

NOAM：

我不知道。我有點(diǎn)喜歡幻覺(jué)。

SARAH：

這也是一個(gè)特點(diǎn)。

NOAM：

我們最想做的是記憶，因為我們的用戶(hù)肯定希望他們的虛擬朋友能記住他們。你可以在個(gè)性化方面做很多事情，你想傾倒大量的數據并有效地使用它。在試圖弄清什么是真實(shí)的，什么是幻覺(jué)方面，有大量的工作正在進(jìn)行。當然，我認為我們會(huì )解決這個(gè)問(wèn)題。

Character.ai的創(chuàng )業(yè)故事

ELAD：

談一談 LaMDA和你在其中的角色，你是怎么想到創(chuàng )辦Character的？

NOAM：

我的聯(lián)合創(chuàng )始人丹尼爾·弗雷塔斯，是我見(jiàn)過(guò)最勤奮、最努力、最聰明的人。他一生都在做這個(gè)建立聊天機器人的任務(wù)。從他還是個(gè)孩子的時(shí)候，他就一直在嘗試建立聊天機器人。所以他加入了谷歌大腦。他讀了一些論文，并認為這種神經(jīng)語(yǔ)言模型技術(shù)是一些可以真正普及和建立真正開(kāi)放領(lǐng)域的東西。

雖然他并沒(méi)有得到很多人的支持，所以只把這個(gè)項目當成副業(yè)，在上面花20%的時(shí)間。

然后他就招募了一支由20%的助手組成的軍隊，他們幫助他建立系統。

他甚至到處去搶別人的TPU配額，他把他的項目稱(chēng)為米娜，因為他喜歡，我猜是在夢(mèng)中想到的。在某個(gè)時(shí)候我看著(zhù)記分牌，想這是什么東西叫米娜，為什么它有30個(gè)TPU積分？

ELAD：

LaMDA是這樣的，我知道它是谷歌在GPT之前就做出來(lái)的內部聊天機器人。這條新聞很有名，因為一位工程師認為它有智慧。

NOAM：

是的，我們把它放在一些大語(yǔ)言模型上，然后在公司內部轟動(dòng)一時(shí)，米娜被重新命名為L(cháng)aMDA，那時(shí)候，我們已經(jīng)離開(kāi)了，有人相信它有生命。

SARAH：

后來(lái)為什么沒(méi)有發(fā)布，有些什么擔憂(yōu)？

NOAM：

對大公司來(lái)說(shuō)，推出一個(gè)知無(wú)不言的產(chǎn)品有點(diǎn)兒危險。我猜這只是一個(gè)風(fēng)險的問(wèn)題。所以，想來(lái)想去，創(chuàng )業(yè)似乎是個(gè)正確的想法。

SARAH：

Character的起源故事是什么樣的？

NOAM：

我們只是想打造一個(gè)東西，并且把它盡快推向市場(chǎng)。我組建了一個(gè)由工程師、研究人員組成的朋克團隊，得到了一些算力，然后就開(kāi)始創(chuàng )業(yè)了。

ELAD：

你是怎么做招聘的？

NOAM：

我們在谷歌認識的一些人碰巧被介紹給以前來(lái)自Meta的Myat，他推出了很多，以及建立了很多他們的大型語(yǔ)言模型的東西和他們的神經(jīng)語(yǔ)言模型基礎設施，其他一些Meta的人跟著(zhù)他，他們很不錯。

ELAD：

你們在尋找人才時(shí)是否有具體的要求或測試方式？還是只是常規的面試方式？

NOAM

我覺(jué)得很大程度上是看動(dòng)力的。我認為丹尼爾非?？粗貏?dòng)力，他尋找的是一種介于強烈渴望和童年夢(mèng)想之間的狀態(tài)，所以有很多優(yōu)秀的人我們沒(méi)有聘用，因為他們沒(méi)有達到那個(gè)程度，但我們也聘用了許多人，他們非常適合加入一家初創(chuàng )公司，他們非常有才華和動(dòng)力。

市面上已經(jīng)有了Siri和Alexa，別在功能性上和大公司硬碰硬

SARAH：

說(shuō)到童年的夢(mèng)想，你想描述一下這個(gè)產(chǎn)品嗎？你有這些機器人，它們可以是用戶(hù)創(chuàng )建的，也可以是角色創(chuàng )建的，可以是公眾人物，歷史人物，虛構的人物，你怎么想到這個(gè)模式的？

NOAM：

用戶(hù)往往比你更清楚，他們想用這個(gè)東西做什么。市面上已經(jīng)有了Siri和Alexa和谷歌助手，不需要在功能性上和這些大公司競爭。

如果你試圖呈現一個(gè)大家都喜歡的公眾角色，最終產(chǎn)出的只有無(wú)聊。而人們不喜歡無(wú)聊，大家想與感覺(jué)像人的東西互動(dòng)。

因此，基本上你需要去做多個(gè)角色，讓人們隨心所欲地發(fā)明角色，而且有點(diǎn)我喜歡Character這個(gè)名字，它有幾個(gè)不同的含義：文字、性格、角色。

SARAH：

那么，人們想要什么？一個(gè)朋友？寫(xiě)小說(shuō)？其他全新的事情嗎？

NOAM：

有一些用戶(hù)會(huì )在我們的產(chǎn)品上和虛擬公眾人物、網(wǎng)紅交談。用戶(hù)可以自己創(chuàng )造一個(gè)角色，然后和它交談。有一些用戶(hù)可能覺(jué)得孤獨，需要和人傾訴，很多人都沒(méi)有人可以?xún)A訴。有些人會(huì )說(shuō)，這個(gè)角色現在是我的新任心理咨詢(xún)師。

SARAH：

思考情感的兩種方式，對嗎？比如人們與角色的關(guān)系，或者像我們在表達連貫的情感時(shí)處于什么水平，這有多重要？

NOAM：

是的，我的意思是可能你不需要那么高端的智力水平來(lái)做情感支持。情感是偉大的，也是超級重要的，但一只狗也可以把情感支持做得很好。狗能提供偉大的情感支持，但幾乎沒(méi)有語(yǔ)言能力，

ELAD：

你認為當你擴大規模時(shí)，系統會(huì )發(fā)生什么變化？

NOAM：

我認為我們應該能夠以各種方式使它更聰明。獲得更多的算力，訓練一個(gè)更大的模型，并訓練更長(cháng)時(shí)間，應該變得更聰明，更有知識，更好地適應什么，人們想要什么，人們正在尋找什么。

SARAH：

你有一些用戶(hù)每天都要使用Character很多小時(shí)。你的目標受眾是哪些人？你期望的使用模式是什么。

NOAM：

我們要把這個(gè)問(wèn)題留給用戶(hù)來(lái)決定。我們的目標一直是，把東西拿出來(lái)，讓用戶(hù)決定他們認為它有什么用。

我們看到今天在Character網(wǎng)站上的人，平均活躍時(shí)長(cháng)為兩個(gè)小時(shí)。這是今天發(fā)送消息的人，這很瘋狂但意義重大，它說(shuō)明人們正在發(fā)現某種價(jià)值。

然后正如我所說(shuō)的，真的很難準確地說(shuō)這種價(jià)值是什么，因為它真的像一個(gè)大的混合的東西。但我們的目標是讓這個(gè)東西對人們更有用，讓人們定制它，決定他們想用它做什么。讓我們把它拿到用戶(hù)手中，看看會(huì )發(fā)生什么。

正在燒錢(qián)換規模 TOC是第一優(yōu)先事項

SARAH：

你是如何考慮商業(yè)化的？

NOAM：

我們會(huì )在每個(gè)用戶(hù)身上賠錢(qián)，然后用數量來(lái)彌補。

SARAH：

好。這是很好的策略。

NOAM：

不，我是在開(kāi)玩笑。

ELAD：

像傳統的，1990年代的商業(yè)模式，所以這很好。

SARAH：

這也是一種2022年的商業(yè)模式。

ELAD：

你應該發(fā)行一個(gè)代幣，然后把它變成一個(gè)加密貨幣的東西。

NOAM：

我們很快就會(huì )在某個(gè)時(shí)間點(diǎn)實(shí)現貨幣化。這是一門(mén)受益于大量算力的生意。而不是燃燒投資者的錢(qián)，我們希望能給足夠多的用戶(hù)提供價(jià)值，順便賺錢(qián)。后面可能會(huì )嘗試一些類(lèi)似高級訂閱類(lèi)型的服務(wù)。隨著(zhù)我們開(kāi)發(fā)一些新功能，后面的收費可能會(huì )漲價(jià)。

ELAD：

我的意思是，Character作為一項TOC服務(wù)，真的以一種非常引人注目的方式起飛了。如果你看一下用戶(hù)的數量和每個(gè)用戶(hù)的使用時(shí)間，這是很瘋狂的。后面會(huì )不會(huì )走上TOB業(yè)務(wù)？比如客戶(hù)服務(wù)機器人？

NOAM：

現在我們有22名員工，所以我們需要確定優(yōu)先次序，我們正在招聘。第一優(yōu)先事項是TOC。

SARAH：

所以你說(shuō)LaMDA當時(shí)沒(méi)有立刻推出的一個(gè)關(guān)鍵原因是安全。你們是怎么想的？

NOAM：

還有其他原因。比如，谷歌不想讓人們傷害自己或傷害其他人，還需要阻止色情內容。圍繞這一點(diǎn)，已經(jīng)有一些抗議了。

ELAD：

你認為這一切是通往AGI或超級智能的道路嗎？對于一些公司來(lái)說(shuō)，這似乎是目標的一部分，而對于一些公司來(lái)說(shuō)，這似乎不是明確的目標。

NOAM：

是的，AGI是很多AI創(chuàng )企的目標。真正的原因是我想推動(dòng)技術(shù)發(fā)展。世界上有那么多的技術(shù)問(wèn)題可以解決，比如醫學(xué)上的疑難雜癥。我們可以想出技術(shù)解決方案。

這就是為什么我一直在研究人工智能，因為與其直接研究醫學(xué)，不如研究人工智能，然后人工智能可以被用來(lái)加速其他研究工作。所以基本上這就是為什么我在人工智能方面如此努力工作，我想創(chuàng )辦一個(gè)既是AGI第一又是產(chǎn)品第一的公司。

你的產(chǎn)品完全取決于A(yíng)I的質(zhì)量。我們產(chǎn)品的質(zhì)量的最大決定因素是這個(gè)東西會(huì )有多聰明。因此，現在我們就像有充分的動(dòng)力，使人工智能更好，使產(chǎn)品更好。

ELAD：

是的，這是一種非常好的購買(mǎi)-反饋循環(huán)，因為就你的觀(guān)點(diǎn)而言，當你使產(chǎn)品變得更好時(shí)，更多的人與它互動(dòng)，這有助于使它成為更好的產(chǎn)品。所以這是一個(gè)非常聰明的方法。你認為我們離與人一樣聰明或比人更聰明的人工智能還有多遠？顯然，它們在某些方面已經(jīng)比人更聰明了，但我只是在想一些類(lèi)似的東西。

NOAM：

我們總是對人工智能在哪些方面比人強感到驚訝。有些AI現在可以為你做家庭作業(yè)。我希望我小時(shí)候也有這種東西。

ELAD：

你會(huì )給那些和你有類(lèi)似背景的人提供什么建議？比如你作為創(chuàng )始人學(xué)到的東西，有哪些是你在谷歌或其他地方工作時(shí)不一定學(xué)到的？

NOAM：

好問(wèn)題?；旧?，你會(huì )從可怕的錯誤中學(xué)習。雖然我不覺(jué)得我們有犯過(guò)非常非常糟糕的錯誤，或者至少我們已經(jīng)彌補了。

SARAH：

你在尋找什么樣的人才？

NOAM：

到目前為止？22人中有21人是工程師。我們還會(huì )雇傭更多的工程師。無(wú)論是深度學(xué)習還是前端和后端，一定要在業(yè)務(wù)和產(chǎn)品方面雇用更多的人。

ELAD：

最后兩到三個(gè)快速的問(wèn)題，你最喜歡的數學(xué)家或計算機科學(xué)家是誰(shuí)。

NOAM：

我在谷歌經(jīng)常和Jeff Dean（谷歌大腦負責人）一起工作。他真的很好，工作起來(lái)很有趣。我想他現在正在研究他們的大型語(yǔ)言模型。這是離開(kāi)谷歌的一點(diǎn)遺憾，希望將來(lái)能和他合作。

ELAD：

你認為數學(xué)是發(fā)明的還是發(fā)現的？

NOAM：

我想也許是被發(fā)現的，也許所有的東西都被發(fā)現了，我們只是在發(fā)現。

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：