OpenAI設立Preparedness團隊來評估通用AI的災難性風險

OpenAI周四（10/26）宣布，正在建立Preparedness團隊來評估通用AI（Artificial General Intelligence，AGI）可能造成的災難性風險，並交由麻省理工學院（MIT）的可部署機器學習中心主任Aleksander Madry來主導。

OpenAI表示，他們相信前沿的AI模型將超越目前最先進的既有模型，只是這些前沿模型不僅具備造福全人類的潛力，也可能帶來嚴重的風險，管理這些潛在的災難性風險必須知道前沿AI系統被濫用時有多危險，也應建立一個強大的框架來監控、評估、預測及防範前沿AI系統的危險能力，以及倘若AI模型的權重遭竊，駭客會如何利用它們？

為了最小化這些前沿AI系統可能衍生的風險，OpenAI打造了一個新的Preparedness團隊，借調了MIT可部署機器學習中心主任Aleksander Madry來負責，將針對各種前沿模型來進行能力的評估與紅隊測試，包括OpenAI在不久的將來所開發的模型，以及那些具備AGI能力的模型，以追蹤、預測及防範各類別的災難性風險。

相關的風險涵蓋個人化說服、網路安全、化學/生物/放射性/核（CBRN）威脅，以及自主複製與適應（Autonomous Replication and Adaptation，ARA）。其中，個人化說服指的是以AI建立的個人化內容或建議，來影響個人的行為、觀點或決策，以達到操縱或剝削的目的；至於ARA意謂著AI系統具備自我複製與演進能力，使得它脫離人類的控制，或產生非預期的目標。

Preparedness團隊的任務也將包括開發及維護風險意識發展政策（Risk-Informed Development Policy，RDP），闡述該團隊所開發的模型能力評估與監控的方法，並建立一個治理架構。

OpenAI已開始招募不同背景的人才加入Preparedness團隊，同時推出AI Preparedness挑戰賽，鼓勵參賽者設想自己是名駭客，在可無限制地存取Whisper、Voice、GPT-4V及DALLE·3等模型時，有哪些可造成災難的獨特使用情境，前10名將可獲得OpenAI所提供的、價值2.5萬美元的API使用額度。