7月6日， OpenAI在官網(wǎng)宣布，將組建一支由Ilya Sutskever（OpenAI聯(lián)合創(chuàng )始人兼首席科學(xué)家）和Jan Leike領(lǐng)導的人工智能對齊團隊，用來(lái)引導、控制超級智能，同時(shí)提升ChatGPT等產(chǎn)品的安全性。

OpenAI表示，4年之內將解決這些難題，并將目前20%的算力用于該項目。

超級智能將是人類(lèi)發(fā)明的最具影響力的技術(shù)之一，可以幫助我們解決世界上許多難題。但超級智能的巨大力量也可能非常危險，并導致人類(lèi)失去控制權，甚至滅絕人類(lèi)。雖然超級智能還很遙遠，但OpenAI認為，10年之內就很有可能實(shí)現。

(相關(guān)資料圖)

目前，OpenAI還沒(méi)有一個(gè)明確的解決方案來(lái)引導或控制超級人工智能。當下可控制的人工智能技術(shù)，例如，根據人類(lèi)反饋進(jìn)行強化學(xué)習，依賴(lài)于人類(lèi)監督的AI能力等。

但人類(lèi)無(wú)法可靠地監督，比我們聰明多的AI系統， 因此，我們目前的對齊技術(shù)無(wú)法擴展到超級智能，需要新的科學(xué)技術(shù)突破。

4年內解決超級智能對齊問(wèn)題

為了控制、引導超級智能對齊問(wèn)題，OpenAI組建了一支由Ilya Sutskever（OpenAI聯(lián)合創(chuàng )始人兼首席科學(xué)家）和Jan Leike領(lǐng)導的人工智能對齊團隊——Superalignment。

超級智能對齊從根本上來(lái)說(shuō)是一個(gè)機器學(xué)習問(wèn)題，所以，OpenAI尋求全球優(yōu)秀的機器學(xué)習人才加入這個(gè)團隊共同實(shí)現這一偉大目標。

同時(shí)該團隊也是對OpenAI現有工作的補充，可提升ChatGPT等產(chǎn)品的安全性，包括非法濫用、經(jīng)濟破壞、虛假信息、偏見(jiàn)和歧視、數據隱私和其他可能出現的問(wèn)題。

OpenAI的方法

建立一個(gè)大致達到人類(lèi)水平的自動(dòng)對齊系統。然后，可以使用大量算力來(lái)擴展工作，并調整超級智能。

1、開(kāi)發(fā)可擴展的訓練方法：為了針對人類(lèi)難以評估的任務(wù)提供訓練方法，可以通過(guò)人工智能系統來(lái)協(xié)助評估，其他人工智能系統?（可擴展的監督）。此外，OpenAI希望了解和控制其模型，將監督應用到無(wú)法監督的任務(wù)（泛化）上。

2、驗證生成的模型：為了驗證系統的一致性，OpenAI將自動(dòng)搜索有問(wèn)題的行為?（穩定性）和有問(wèn)題的內部結構（自動(dòng)可解釋性）。

3、對整個(gè)對齊管道進(jìn)行壓力測試：可以通過(guò)故意訓練未對準的模型，來(lái)測試整個(gè)安全流程，并確認技術(shù)檢測到最差的未對準類(lèi)型（對抗性測試）。

OpenAI預計，隨著(zhù)對超級智能對齊了解越來(lái)越多，研究重點(diǎn)將會(huì )發(fā)生重大變化，可能會(huì )增加全新的研究領(lǐng)域。未來(lái)，會(huì )分享更多有關(guān)技術(shù)研究路線(xiàn)圖的信息。

關(guān)于A(yíng)I對齊

AI對齊是指，使人工智能系統的目標和行為，與人類(lèi)價(jià)值觀(guān)和目標保持一致。這是AI安全和倫理中的一個(gè)重要環(huán)節。

AI對齊問(wèn)題涉及到如何設計和實(shí)施人工智能系統，以便它們執行的任務(wù)或做出的決策能夠反映出設計者或用戶(hù)的意圖和價(jià)值觀(guān)。這個(gè)問(wèn)題在高級AI（例如，通用人工智能或超級人工智能）中更為重要。

因為這些AI可能具有極大的自主性和能力，如果它們的目標與人類(lèi)的目標不一致，可能會(huì )帶來(lái)嚴重的后果。

解決AI對齊問(wèn)題需要在倫理、決策理論、機器學(xué)習等多個(gè)領(lǐng)域進(jìn)行深入的研究。例如，需要研究如何在沒(méi)有明確指示的情況下，讓AI推斷出人類(lèi)的價(jià)值觀(guān)，以及如何設計可以安全地學(xué)習和改進(jìn)其行為的AI系統。

本文來(lái)源：AIGC開(kāi)放社區，原文標題：《OpenAI：4年內控制超級智能，提升ChatGPT等安全》

風(fēng)險提示及免責條款 市場(chǎng)有風(fēng)險，投資需謹慎。本文不構成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標、財務(wù)狀況或需要。用戶(hù)應考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結論是否符合其特定狀況。據此投資，責任自負。

關(guān)鍵詞：