近些日子狀況百出的AI頂流ChatGPT引發(fā)了背后公司OpenAI創(chuàng )始人的一些反思。

【資料圖】

上周，OpenAI首席執行官Sam Altman在公司官網(wǎng)公布了對通用人工智能（AGI）當下和后續規劃。AGI專(zhuān)注于研究像人一樣思考并從事多種用途的機器。

在文章中，Altman承認AGI技術(shù)能夠幫助人類(lèi)的創(chuàng )造性實(shí)現質(zhì)的飛躍，但他更擔心，AGI的能力強大得超乎想象，應用不當可能對社會(huì )造成災難性的后果。

因此，Altman認為必須更加謹慎創(chuàng )建和部署AGI模型，有意放慢其發(fā)展速度，幫助世界以更平穩、更漸進(jìn)的方式向AGI時(shí)代過(guò)渡，比如，通過(guò)部署低版本的AGI來(lái)適應更加復雜的環(huán)境，或者對產(chǎn)品的應用進(jìn)行限制等等。

AGI應用的三個(gè)原則

Altman在文中列出了OpenAI最關(guān)心的AGI應用的三個(gè)原則：

1. 我們希望AGI能讓人類(lèi)在宇宙中最大限度地繁榮發(fā)展。不期望未來(lái)的世界是個(gè)不合格的烏托邦社會(huì )，但希望最大化好處，最小化壞處，讓AGI成為人類(lèi)的放大器。

2. 我們希望廣泛和公平地分享AGI的好處、獲取和治理。

3. 我們希望成功應對巨大風(fēng)險。在面對這些風(fēng)險時(shí)，理論上看似正確的事情在實(shí)踐中往往表現得比預期的更奇怪。我們認為必須通過(guò)部署功能較弱的技術(shù)版本來(lái)不斷學(xué)習和適應，盡量減少“一次性成功”的情況。

越接近AGI，越謹慎

短期來(lái)看，Altman認為OpenAI應為AGI時(shí)代的到來(lái)做好準備，他建議，更加謹慎的創(chuàng )建和部署模型，對AGI應用范圍進(jìn)行限制，并對某些重大問(wèn)題展開(kāi)全球對話(huà)。

Altman寫(xiě)道：

首先，隨著(zhù)我們不斷建立功能更強大的系統，我們希望部署它們并獲得在現實(shí)世界中操作它們的經(jīng)驗。我們相信，這是謹慎管理AGI的最佳方式——逐步過(guò)渡到一個(gè)有AGI的世界要比突然過(guò)渡好。我們期望強大的AI能使世界更快進(jìn)步，我們認為最好是逐步適應這一點(diǎn)。

我們目前認為，成功應對AI部署挑戰的最佳方法是建立一個(gè)快速學(xué)習和謹慎迭代的緊密反饋循環(huán)。社會(huì )將面臨AI系統被允許做什么，如何消除偏見(jiàn)，如何處理工作崗位流失等等的重大問(wèn)題。最佳決策將取決于技術(shù)的發(fā)展路徑，就像任何新領(lǐng)域一樣，迄今為止大多數專(zhuān)家的預測都是錯誤的。這使得脫離實(shí)際進(jìn)行規劃非常困難。

隨著(zhù)我們的系統越來(lái)越接近AGI，我們對模型的創(chuàng )建和部署越來(lái)越謹慎。我們的決定需要比社會(huì )通常對新技術(shù)的應用更加謹慎，也比許多用戶(hù)所希望的更加謹慎。

其次，我們正在努力建立日益具有一致性和可控性的模型。我們從GPT-3的第一個(gè)版本到DirectGPT和ChatGPT的轉變就是一個(gè)早期的例子。

特別是，我們認為社會(huì )在A(yíng)I的應用方面達成一致是非常重要的，但在這些范圍內，個(gè)人用戶(hù)有很大的自由裁量權。我們最終希望，世界各機構就這些寬泛的界限定義達成一致; 在較短期內，我們計劃對外部投入進(jìn)行試驗。世界各機構需要增加能力和經(jīng)驗，為關(guān)于A(yíng)GI的復雜決定做好準備。

我們產(chǎn)品的“默認設置”可能會(huì )受到很大限制，但我們計劃讓用戶(hù)更容易改變他們使用的AI的行為。我們相信賦予個(gè)人自主決策的權力以及思想多樣性的內在力量。

隨著(zhù)我們的模型變得更加強大，我們將需要開(kāi)發(fā)新的對齊（alignment）技術(shù)(并且在現有技術(shù)失敗時(shí)候進(jìn)行理解測試)。我們的短期計劃是使用AI來(lái)幫助人類(lèi)評估更復雜模型的輸出和監控復雜系統，長(cháng)期計劃是使用AI來(lái)幫助我們提出更好的對齊技術(shù)的新想法。

重要的是，我們認為必須在A(yíng)I的安全性和能力方面均取得進(jìn)展。把兩者分開(kāi)討論是錯誤的，它們在許多方面是相互關(guān)聯(lián)的。最安全的系統來(lái)自能力最強的模型。也就是說(shuō)，提高安全進(jìn)步與能力進(jìn)步的比率很重要。

第三，我們希望就三個(gè)關(guān)鍵問(wèn)題展開(kāi)全球對話(huà): 如何治理這些系統？如何公平分配它們產(chǎn)生的好處？以及如何公平共享訪(fǎng)問(wèn)？

除了這三個(gè)領(lǐng)域之外，我們還試圖建立一種結構，使我們的激勵措施產(chǎn)生良好的結果。我們的章程中有一個(gè)條款，即協(xié)助其他組織提高安全性，而不是在A(yíng)GI開(kāi)發(fā)的后期階段與他們競爭。

我們對股東獲得的回報設置了一個(gè)上限，這樣公司就沒(méi)有動(dòng)力去自由地榨取價(jià)值并冒險部署一些具有潛在災難危險性的東西(當然也是作為一種與社會(huì )分享利益的方式)。

我們認為發(fā)布新系統之前進(jìn)行獨立審計諸如此類(lèi)的做法很重要，我們將在今年晚些時(shí)候討論更多細節。

關(guān)鍵時(shí)刻減速可能很重要

展望更遠的未來(lái)，Altman認為，為了防止AGI對世界造成災難性的打擊，必須對AGI模型的建立進(jìn)行更嚴格的審查，遇到重大決策時(shí)應該進(jìn)行公共咨詢(xún)。

我們相信，人類(lèi)的未來(lái)應該由人類(lèi)決定，與公眾分享進(jìn)步的信息很重要。應該對所有試圖建立AGI的行為進(jìn)行嚴格審查，并就重大決定進(jìn)行公共咨詢(xún)。

第一個(gè)AGI將只是智力連續體上的一個(gè)點(diǎn)。我們認為，從那里開(kāi)始進(jìn)步還將繼續，速度可能會(huì )在很長(cháng)一段時(shí)間內以我們過(guò)去十年中看到的那樣保持。如果這是真的，世界可能會(huì )變得與今天截然不同，風(fēng)險也可能會(huì )非同尋常。如果一個(gè)超級智能的AGI發(fā)生錯位，可能會(huì )對世界造成嚴重傷害，一個(gè)擁有決定性超級智能領(lǐng)導的專(zhuān)制政權也具有同樣的殺傷力。

我們認為較慢的起飛速度更容易保證安全，AGI在關(guān)鍵時(shí)刻減速可能很重要(即使在一個(gè)我們不需要這樣做來(lái)解決技術(shù)調整問(wèn)題的世界里，減速對于給社會(huì )足夠的時(shí)間來(lái)適應可能也很重要)。

成功地過(guò)渡到一個(gè)擁有超級智能的世界，或許是人類(lèi)歷史上最重要、最充滿(mǎn)希望、最可怕的項目。成功遠非板上釘釘，利害關(guān)系(無(wú)限的風(fēng)險和無(wú)限的好處)將有望把我們所有人團結起來(lái)。

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞： 人工智能 是錯誤的 重大問(wèn)題