當AI有了自主意識會(huì )如何？

「機械姬」中，艾娃利用人類(lèi)的同情心，以欺騙的方式誘導人類(lèi)獲得自由，最終殺了自己的「造物主」Nathan。

(資料圖)

近來(lái)，在眾多網(wǎng)友的力薦下，Sam Altman終于看了這部電影。

并表示，「很好的電影，但我不明白為什么每個(gè)人都讓我看它?！?/p>

許多人或許想警示，這就是讓人工智能有了意識，通過(guò)圖靈測試的結果。

但我們離「機械姬」上映的那一幕還很遙遠，GPT-5可能在秘密研發(fā)中，讓AI有智慧仍是科學(xué)家集洪荒之力最想做的事。

這不，來(lái)自不列顛哥倫比亞大學(xué)的2位研究人員發(fā)現，智能體能夠像人類(lèi)一樣思考有很多的優(yōu)勢。

最新論文中，他們研究了智能體的「思想克隆」（TC）。

這里，人工智能通過(guò)模仿人類(lèi)，學(xué)會(huì )像人類(lèi)一樣「思考」和「行動(dòng)」。

當AI有了思想

要知道，語(yǔ)言是區分人類(lèi)和其他生物的關(guān)鍵。

因此，研究人員設想，如果智能體能夠理解語(yǔ)言，便會(huì )有很多的好處。

比如，幫助人類(lèi)概括、推斷、適應新的情況、將新的方式結合已有的知識，探索、計劃、并在必要時(shí)重新計劃。

盡管有這些益處，但AI智能體卻很少思考，至少不是用人類(lèi)語(yǔ)言去思考。

雖然神經(jīng)網(wǎng)絡(luò )可以被認為是思考的內部向量激活，但許多人假設，以離散的、符號的語(yǔ)言進(jìn)行思考具有特定的好處。

這意味著(zhù)能夠用語(yǔ)言思考的智能體，可能比不用語(yǔ)言的智能體學(xué)習得更快，表現、概括得更好。

基于所有這些原因，增強AI智能體用語(yǔ)言思考的能力可以產(chǎn)生許多顯著(zhù)的優(yōu)勢。

Jeff Clune和Shengran Hu認為實(shí)現這一目標的最有效的方法是「讓AI模仿人類(lèi)思考」。

他們發(fā)現，人類(lèi)不會(huì )孤立地獲得思維技能，相反，他們一部分技能的獲得是通過(guò)他人示范和教師提供的反饋來(lái)學(xué)習的。

因此，一個(gè)有效的方法是，讓智能體從人類(lèi)在行動(dòng)時(shí)把想法說(shuō)出的演示中進(jìn)行學(xué)習。

這一方法不同于現有的用預訓練LLMs進(jìn)行規劃的工作，因為這些LLMs沒(méi)有受過(guò)人類(lèi)在行動(dòng)時(shí)說(shuō)出想法的數據進(jìn)行訓練，即「思想數據」。

至于「思想數據」的來(lái)源，研究者選取了YouTube視頻和文字錄音，有大約數百萬(wàn)小時(shí)，包含了人們行動(dòng)、計劃、決定和重新規劃背后的思想。

論文中，研究人員提出了一個(gè)新穎的模仿學(xué)習框架「思想克隆」。其中，智能體不僅學(xué)習人類(lèi)的示范行為，如行為克隆，而且學(xué)習人類(lèi)行動(dòng)同時(shí)的思考方式。

在思想克隆訓練框架中，智能體學(xué)習在每個(gè)時(shí)間步中產(chǎn)生思想，并隨后根據這些思想調整行動(dòng)。

整體框架如圖所示，TC智能體是一個(gè)雙層架構：上層和下層組件。

在每個(gè)時(shí)間步中，智能體接收一個(gè)觀(guān)察、一個(gè)任務(wù)和一段思維歷史作為輸入。上層組件負責思想生成，下層組件產(chǎn)生以這些思想為條件執行操作。

然后，將生成的想法和行動(dòng)與演示數據集中的基本事實(shí)進(jìn)行比較，以計算損失。

雖然對于上層和下層組件的條件可能有不同的選擇，但在這項工作中，對于思維數據集中長(cháng)度t的特定軌跡，研究人員將其最小化：

對于更復雜或大規模的場(chǎng)景，上層組件可以使用預訓練視覺(jué)語(yǔ)言模型（VLM）來(lái)實(shí)現，或者零樣本、微調。

而下層組件可以從頭開(kāi)始訓練，或者從目標域中現有的語(yǔ)言條件控制器中改編。

論文中，研究人員基于BabyAI 1.1模型體系結構的兩個(gè)組件進(jìn)行了研究。

該模型利用內存增強架構LSTM來(lái)解決部分可觀(guān)測性的挑戰。此外，它還采用FiLM進(jìn)行模態(tài)融合，有效地結合了視覺(jué)和文本輸入。

這里，作者特別強調，本文中的所有模型都是從頭開(kāi)始訓練的，但在復雜領(lǐng)域中還是使用預訓練模型更強。

如下圖，是BabyAI環(huán)境示例，左圖中包含了各種顏色的物品（球、鑰匙、盒子、門(mén)）。

智能體可以拿起、放下、移動(dòng)物體或者開(kāi)門(mén)和關(guān)門(mén)，而鎖住的門(mén)只能用顏色匹配的鑰匙打開(kāi)。

智能體可以看到它前面的7×7的網(wǎng)格單元，這些網(wǎng)格單元是被墻壁和關(guān)閉的門(mén)阻擋。

「思想克隆」智能體的任務(wù)是，到達紫色的盒子（高亮顯示） ，并開(kāi)始規劃了路線(xiàn)。

但是當它打開(kāi)藍色的門(mén)時(shí)，準備完成任務(wù)，卻發(fā)現一個(gè)紫色的球擋住了去路。于是，思想克隆智能體再重新規劃。

由此可以看出，智能體的想法和行動(dòng)表明，當遇到障礙時(shí)，先將其移除，并在繼續之前的目標前，重新計劃路線(xiàn)。

這一過(guò)程，就特別像艾娃如何一步一步策劃，讓人類(lèi)最終相信并幫助自己，逃出囚禁已久的玻璃牢籠。

實(shí)驗結果

研究結果表明，「思想克隆」優(yōu)于行為克隆。

此外，在零樣本和微調設置中，思想克隆在分布外的任務(wù)中比行為克隆優(yōu)勢更大。

有趣的是，研究人員還開(kāi)發(fā)了「預犯罪干預」，允許用戶(hù)在模型訓練后仍能定義不安全行為。

當檢測到危險的想法時(shí)，就能終止智能體。測試中，「預犯罪干預」的效果近乎完美，顯示了它在人工智能安全方面的潛力。

「思想克隆」不僅使人工智能更聰明，而且更安全，更容易理解。

就是說(shuō)，當AI犯罪前，一切還有得救。

在Jeff Clune看來(lái)，「思想克隆」有助于人工智能的安全。

因為我們可以觀(guān)察到智能體的思想：（1）可以更容易地診斷出事情出錯的原因，（2）通過(guò)糾正智能體的思想來(lái)引導它，（3）或者阻止它做所計劃的不安全的事情。

作者介紹

Jeff Clune

目前，Jeff Clune是不列顛哥倫比亞大學(xué)計算機科學(xué)副教授。他主要研究深度學(xué)習，包括深度強化學(xué)習。

此前，他還是OpenAI研究團隊負責人，Uber人工智能實(shí)驗室的高級研究經(jīng)理和創(chuàng )始成員。

此前，他和OpenAI團隊發(fā)布了視頻預訓練模型——VPT，讓AI在我的世界中從視頻數據中學(xué)習造石鎬。

Shengran Hu

目前是不列顛哥倫比亞大學(xué)的博士生，對深度學(xué)習，人工智能生成算法感興趣。

本文來(lái)源：新智元，原文標題：《思想克??！前OpenAI研究員讓AI模仿人類(lèi)思維，現實(shí)版「機械姬」降臨》

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：