Google Brain最近宣布靠著強化學習,開發出自動尋找神經網路優化器的方法,Google表示,這個模式與過去用AutoML,探索新的競爭神經網路架構的方法類似,為了協助開發人員訓練模型,Google已經在Tensorflow中加入這些新找到的最佳化規則。

在許多Google的服務中都有深度學習模型的身影,像是Google搜尋引擎、翻譯是圖片,而在訓練深度學習模型時,如何選擇優化模型的方法是非常重要的。

舉例來說,梯度下降(Stochastic gradient descent)在許多情況下都非常適用,但是特別是針對深度神經網路,若更用好的優化器,可以達到更佳的效能,而神經網路非凸(Non-convex )優化的問題,非常具有挑戰性,因此,Google Brain團隊嘗試開發出自動尋找優化器的方法。

在過年發表的一篇論文中,Google Brain團隊開發出一套可以探索深度學習架構優化器的方法,藉由這個方法,研究團隊找到兩個新的優化器,分別是PowerSign和AddSign,這兩個優化器在多種不同的任務和架構下,都有非常好的表現,像是ImageNet分類和神經網路機器翻譯系統。

神經網路優化器的搜尋方法是透過遞歸神經網路(Recurrent Neural Network,RNN) 控制器,來取得初始典型、相關的優化器,包含梯度、組合最佳化,利用強化學習的方式,控制器會先產生候選優化器,或是更新優化的規則,來訓練子卷積神經網路(Convolutional neural network,CNN),子網路計算出準確率後,再回饋給控制器,不斷重複找到將模型最佳化的優化規則。

熱門新聞

Advertisement