DeepMind開源開發AI專案的元件函式庫

Alphabet旗下AI子公司DeepMind 周四開源釋出可撰寫TensorFlow強化學習（Reinforcement Learning, RL）代理程式的函式庫TRFL。

DeepMind指出，TRFL（念作truffle）集結了該公司內部開發代理程式如DQN、DDPG及Importance Weighted Actor Learner Architecture所有的重要演算法元件。TRFL目前已可在GitHub上開放下載。

一般強化學習代理程式包含許多互動元件，像是環境和某個表示值（values）或政策（policy）的深度網路，以及該環境的學習模型、偽獎勵函式或重播系統（replay system）。這些元件互動很巧妙，因而在大型運算圖譜（computation graphs）中不易發現臭蟲。OpenAI最近就分析強化學習代理程式最受歡迎的開源實作發現，10個代理程式有6個有很小的瑕疵被社群發現且經作者證實。

解決上述問題及協助研究的方法之一是將完整的代理程式實作開源出來。這些代理程式的程式碼對複製研究很有用，但問題是難以修改和擴充。另一個方法則是將共通建構元件、經測試過的穩定實作提供出來，這些共通元件也可用於眾多不同的RL代理程式。另一個好處是，將這些核心元件集結於單一函式庫，加上一致化的API，將更容易和不同來源的想法結合。

TRFL函式庫包括實作傳統RL演算及更先進技術的函式。像是loss函式及其他運算都有實作於純Tensorflow 之中。針對value-based及policy-base的強化學習，TRFL也都提供了相應的工具。

該公司表示，由於這個函式庫廣泛用於DeepMind開發上，因此他們會持續維護並新增功能，且可望繼續釋出給開源社群。

本專案勢必受到開發人員的歡迎。根據近日GitHub的統計，Tensorflow是平台上第三大開源專案，僅次於微軟VS Code和臉書React。