AlphaGo幕後開發心路歷程大公開！一手打造AlphaGo傳奇首席工程師黃士傑回臺解密

近來機器與人類史上最有名的正面戰役，莫過於今年5月，Google旗下AI實驗室DeepMind所開發的AlphaGo，與人類圍棋世界冠軍柯潔的對弈，AlphaGo最終以3：0贏得勝利，打響了AI的名聲，不管是學術界或是產業界，都紛紛投資AI應用。

近日，DeepMind更推出了比AlphaGo還要厲害的AlphaGo Zero，不需要事先學習人類下棋的棋譜，擁有自我學習的能力，而一手打造出AlphaGo傳奇的首席工程師黃士傑，今日（10日）於中研院舉辦的第一屆台灣人工智慧年會的演講中，以「AlphaGo－深度學習與強化學習的勝利」為題，揭露未曾對外公開的AlphaGo發展歷程，以及開發AlphaGo所用到的深度學習與強化學習（Reinforcement Learning）技術關鍵。

黃士傑日前曾在個人臉書簡短的介紹AlphaGo Zero的特性，並表示這次回臺將會介紹AlphaGo Zero的開發歷程。

AlphaGo Zero主要達成的成果是從零開始自我學習下圍棋，並且靠著自我學習，在短短的36小時後，摸索出所有基本且重要的圍棋知識，圍棋程度達到與李世乭九段對戰的AlphaGo v18相同水平，又經過3天後，AlphaGo Zero對戰AlphaGo v18達到100%的勝率，之後又達到了年初在網路上達成60連勝的Master的水準。

而40天後，AlphaGo Zero對戰Master達到近90%勝率，成為有史以來AlphaGo棋力最強的版本，他表示，雖然AlphaGo Zero還未公開下圍棋棋，但DeepMind已將AlphaGo Zero的80局棋公開發表於《自然》（Nature）期刊。

儘管AlphaGo Zero仍然以圍棋為開發範本，但DeepMind認為類似的技術將可被應用在其他的結構化問題上，例如蛋白質折疊、降低能源損耗，或是尋找革命性的新材料等，將有潛力對社會帶來正面的影響。

黃士傑研究電腦圍棋已經10年，他一開始到加拿大做研究時，第一個就是要解決語言溝通的問題，花了很多心力在加強英文的溝通，他指出，雖然現在AlphaGo已經完成所有的任務，但是，DeepMind認為應該還要繼續往AI技術前進，可以見得，DeepMind有非常遠大的目標。

他表示，2016年5月AlphaGo真正贏了人類的那一刻，是他人生最開心的時候。當初他沒有想過電腦圍棋會變得這麼厲害，但是仍然不斷嘗試，最後終於成功。其實，過去就連聖誕節AlphaGo也還在下棋，團隊也都不間斷在訓練AlphaGo。

黃士傑從小就喜歡下棋，他自己的棋力是業餘6段，研究電腦圍棋是他的興趣，而更令他開心的是，因為AlphaGo的關係，竟然能夠與自己的圍棋偶像面對面下棋。

AlphaGo帶給黃士傑最大的感觸是，AI與人類合作的氣氛慢慢在形成。在韓國與李世乭​對弈時，可以明顯感受到他背負人類必須贏得勝利的壓力，然而在中國烏鎮圍棋峰會與柯潔對弈時，黃士傑真正感受到 AI和人類合作的氛圍，柯潔在賽後也表示非常榮幸能跟AlphaGo下棋。

AlphaGo專案的起源

AlphaGo的起源要從黃士傑在攻讀博士班時，用單機開發的電腦圍棋程式Erica說起。Erica其實是他的妻子的名字，當時，他現在的主管David Sliver寫了封信表示，對他的研究成果非常驚艷，還問他要不要加入DeepMind，黃士傑後來在隔年，2012年11月才正式加入DeepMind，當時最後面試的主管問了他做出Erica的感想，「我覺得很有成就感！」David Sliver還表示與他有相同的想法。

他指出，DeepMind的目標是要打造通用的人工智慧，當時要開始投入研究電腦圍棋AI程式時，DeepMind的共識就是不要複製Erica，因為會有既定的限制。

AlphaGo專案一開始是因為DeepMind的執行長Demis Hassabis提議要研究電腦圍棋專案，於是黃士傑與他的主管David Sliver開啟了研究專案，後來研究團隊又加入了Chris Maddison、llya Sutskever，一同參與開發AlphaGo，而「為什麼要做圍棋？」，這是許多人的疑問，他說，IBM深藍在西洋棋戰勝人類之後，就只剩下圍棋這項挑戰了。

至於「為何判斷深度學習可以用在圍棋呢？」黃士傑的答案是，如果人類可以馬上判斷下這一步是好棋，那麼以神經網路就可以做到。當時他利用人類的棋譜來讓AlphaGo學習，建立策略網路（Policy Network），用人類的直覺來下圍棋。

他表示，每天的工作就是反覆訓練網路、測試、觀察勝率，不斷地重複這樣的過程，包含要研究神經網路要建立多深、資料集有沒有問題、神經網路需要幾層等等的問題。其實在剛開始的第一個月，AlphaGo是行不通的，勝率不高，不過在後來發現Overfitting的問題後，解決之後AlphaGo的勝率就大幅達到95％。

之後，AlphaGo最主要的突破即是加入價值網路（Value Network），將強化學習結合深度學習，讓AlphaGo擁有學習的能力，另外，也因為硬體上TPU給了很大的幫助，他指出，相同的程式碼，用TPU執行的勝率，會變得非常高。AlphaGo將直覺和判斷一起訓練，就能將直覺和判斷達到一致性，並將策略和價值網路結合在一起，變成Dual Network，之後再不斷的加強訓練流程。

為了測試AlphaGo的能耐，黃士傑努力說服團隊要在線上測試AlphaGo的棋力，後來終於在2016年底，讓AlphaGo Master在網路上邀來中日韓台頂尖棋手，幫忙訓練，一天連下10盤，就這樣在自家的房間低調地用單機訓練AlphaGo Master。當時下一步棋平均要4 ～8秒，一局下完大約需要1小時，而與職業棋手的對戰都是全勝，他認為，電腦圍棋AI的價值在於「擴展圍棋界的理論和思路」。

真正脫離人類知識的AlphaGo Zero

近日，DeepMind釋出的AlphaGo Zero正式脫離人類知識的資料，不再需要人類的資料。AlphaGo原本的版本需要用數千盤人類棋手的對戰來訓練，然而AlphaGo Zero則可以在完全不懂圍棋的狀況下，自己跟自己對戰，透過神經網路演算法，不斷調整與更新，進而預測棋子的最佳落點。AlphaGo Zero採用了強化學習，過程中完全沒有經過人類的干預，也從未使用過去的棋譜資料，總共只花了40天，就成為歷史上最強的棋手。他覺得這是一種趨勢，經過10幾年的研究，電腦圍棋的研究在AlphaGo Zero上，有很好的收尾。

他指出，目前AlphaGo Zero棋力還在持續精進中，DeepMind的團隊合作創造許多不錯的成果，包含發表了兩篇論文，以及與人類大戰兩次的大戰，在網路上有60個棋局訓練，最後還拍了《AlphaGo》的紀錄片。

他表示，AlphaGo的成功是深度學習與強化學習的勝利，從專案起始到收尾，都是靠著大家一同合作，而硬體資源與TPU也扮演很重要的角色，最後，近日AlphaGo Zero也展示了強化學習的巨大潛力，他認為，AI要成為人類的工具，與人類合作。