DeepMind發表遊戲增強學習框架OpenSpiel

DeepMind研究團隊發表了一個稱為OpenSpiel的遊戲面向增強學習框架，提供了增強學習需要的環境以及演算法，可用於一般增強學習、搜尋以及規畫的研究，並提供了分析增強學習動態的工具，以及常用的評估指標。

研究人員提到，OpenSpiel的目標是要促進在多種遊戲類型，發展多代理增強學習，跟一般的遊戲訓練環境相似，但是更強調學習的部分而非競爭的形式。研究人員希望OpenSpiel可以在通用增強學習上，達到Atari學習環境在單一代理人增強學習的地位，對通用增強學習的發展產生重大的影響。

OpenSpiel提供了一個可讓研究人員在各種基準遊戲中，評估遊戲以及演算法的框架，OpenSpiel內建了各式包括世界網格遊戲、拍賣遊戲，以及矩陣遊戲等20多種不同類型的遊戲，這些遊戲涵蓋單一或多個代理人的零和、合作、一般和對局（General-Sum）遊戲，還有一次性以及連續性遊戲研究。這些遊戲以C++撰寫，並以Python打包。

OpenSpiel的演算法則是以C++或是Python實作，官方提到，這2種語言的API幾乎相同，因此當開發者需要，能夠簡單地在這兩種語言間切換使用，而絕大部分學習演算法都是以Python使用Tensorflow撰寫，官方目前正發展PyTorch和JAX的支援。另外，OpenSpiel函式庫的一個子集被移植到了Swift上，因此開發者也能在MacOS裝置上進行研究。

DeepMind只在Linux上測試OpenSpiel，但研究人員提到，雖然他們沒有在MacOS和Windows上進行測試，但是在編譯以及執行上，預計不會有太大的問題發生。OpenSpiel主要設計理念為簡單以及最小化，使用了參照實作而非完全最佳化以及高效能的程式碼，而且盡可能維持最小相依性，降低相容性問題發生的可能性。

最近也有不少組織推出了增強學習的研究工具，像是Google大腦就開源了足球增強學習環境專案Google Research Football，臉書也釋出增強學習平臺Horizon，英特爾也在RL Coach中推出一系列增強學習的工具。