OpenAI招兵買馬，成立發展超智慧AI管理方案的團隊

因應AI對人類社會可能的危害，OpenAI宣布已成立專門團隊開發能駕馭和控管超智慧（superintelligent）AI的方案，並正式公開徵才。

這個團隊是由OpenAI共同創辦人Ilya Sutskever及AI治理團隊主管Jan Leike掌理。他們的目標是在4年內發展能駕馭和控管AI的突破性科學及科技。

這是OpenAI執行長Sam Altman、Sutskever聯同其他AI公司高階主管5月聯合簽署聲明後，OpenAI的實際行動之一。該聲明認同全球首要之務，是應設法減緩AI危害人類文明及社會的風險。

Sutskever和Leike指出，超智慧（Superintelligence）可能非常危險，可能會侵害人類或造成人類滅絕，目前雖然還很遙遠，但他們相信10年就會來到。管理風險需要新的治理機構及能駕馭或控制超智慧AI，防止它做壞事的方法，但目前並沒有這種技術。現有能控制AI的技術如增強式學習（reinforcement learning）可由人來監控AI，但是人類卻無法穩定監控比人類聰明的AI，因此這些控制方法無法沿用到超智慧，需要有新的突破性科學和技術。

這個小組的目標是建立智慧約略等同人類的自動化導正（alignment）研究系統。之後可以用大量運算資源擴充，它就會反覆執行來導正超智慧AI。而為了建立第一步的自動化導正研究系統，他們需要開發可擴充的訓練方法、驗證模型，及進行整個導正流程（pipeline）的壓力測試。

這個流程一開始為了提供給模型人類難以評估的任務作為訓練訊號，研究小組計畫以AI系統協助評估其他AI系統（可擴充的監管）。此外，研究人員也想了解和控制模型如何將管理原則擴大到人類無法監管的系統（概括化）。其次，為了驗證系統，研究小組也將自動搜尋有問題的行為及有問題的內部元件。最後，再藉由刻意訓練一些未導正的模型來測試其導正流程，證明他們的方法是否能偵測出最嚴重的未導正情境（對抗測試adversarial testing）。研究小組希望藉著摸著石頭過河，漸漸找出研究優先要務，也可能再增加全新的研究主題。

為此，他們正在召募最頂尖的機器學習研究人員及工程師。目前開出的職缺有研究工程師、研究科學家及研究經理等。OpenAI也將撥用20%的運算資源，投入4年來建立超智慧AI的導正和控制方法，也號召業界其他團隊一起投入。