邁向通用型AI第一步，OpenAI打造特殊ML量化指標訓練平臺，要來修正過度學習的AI難題

OpenAI近日釋出一個特別的訓練環境CoinRun，該平臺藉由遊戲設計，能夠提供關鍵的量化指標，讓程式將過去學習到的經驗，轉移到全新環境中，也解決了強化學習長久以來的難題，CoinRun的環境比起傳統的遊戲平臺簡單許多，像是音速小子（Sonic the Hedgehog），但是卻保有豐富且廣泛的挑戰，提供給最新的演算法程式來解決。

打造出適用於不同任務的通用模型，對現今的深度強化學習演算法，還是一大難題，雖然受過訓練的程式可以解決複雜的任務，但是換到新的環境時，該程式就會面臨轉移經驗的挑戰，尤其強化學習程式常常會有過度學習（overfittng）的問題，模型學習成果貼近訓練資料，換成別的測試資料效果就會大打折扣，無法學習到通用的技能。

CoinRun模仿音速小子遊戲平臺，設計成讓現有的演算法容易被訓練的環境，提供可量化的大量訓練資料，CoinRun每個關卡的目標即是在有障礙物的環境中，收集硬幣，如果程式代理人撞到障礙物，在遊戲中就會死亡，唯一的獎勵機制是收集硬幣，且這項獎勵機制是固定的，若程市代理人死亡、集滿硬幣，或是移動1,000步之後，該遊戲關卡就會結束。

為了評估該模型的通用程度，OpenAI用常見的3層式卷積架構，OpenAI也稱之為Nature-CNN，訓練了9個程式代理人在CoinRun平臺玩遊戲，其中8個程式代理人在第100～16,000關卡中訓練，另外一個程式代理人的訓練，則是不限制任何關卡，因此，該程式代理人便不會看見同一個關卡兩次，每個關卡對該代理人而言，都是全新的環境，程式代理人是透過近端策略最佳化（Proximal Policy Optimization，PPO）演算法來訓練，在固定關卡學習的程式，每個關卡會玩成千上萬次，而不固定訓練關卡的程式，每個關卡只會玩一次。

OpenAI收集了單獨訓練的AI程式表現結果，在少於4,000個關卡的訓練配置中，該程式出現過度學習的問題，超過16,000個關卡，問題依舊存在，接著，OpenAI利用CoinRun固定的500個關卡來訓練AI程式，發現透過多項正規化技術，可以改善訓練結果，像是Dropout和L2正規化、資料擴增和環境隨機性。

除此之外，OpenAI也開發了另外2個環境來研究過度學習的問題，分別是CoinRun的變化版CoinRun-Platforms和簡單迷宮導航環境RandomMazes，在這些實驗中，研究人員採用原本的IMPALA-CNN架構，透過長短期記憶模型（long short-term memory，LSTM）來進行實驗，在CoinRun-Platforms的環境中，AI程式要在1,000步的時間限制內收集硬幣，硬幣隨機分散在不同的關卡中，因此，程式必須積積極探索。

OpenAI表示，該研究成果提供打造強化學習通用模型更多研究方向，透過CoinRun環境，精準地量化過度學習的問題，有了這項指標後，研究人員可以更準確地評估，要用哪個架構和演算法，OpenAI也提出幾個建議的未來研究方向，像是研究環境複雜度和關卡數的關係、重覆的架構對通用型AI是否合適、探索多種正規化組合最有效的方法。