Google開源可自動尋找最佳機器學習模型的平臺Model Search

Google釋出開源機器學習模型搜尋平臺Model Search，供研究社群更容易地取用AutoML解決方案，Model Search能夠讓研究人員高效且自動地開發機器學習模型，該平臺與領域知識無關，可以找到適用各種問題與資料集的模型架構，最大程度減少程式開發時間與工作量，Model Search是以Tensorflow建構而成，因此可以在單臺機器或是分散式裝置中運作。

近年出現的AutoML演算法，可以讓研究人員不需要手動實驗，就能找到合適的神經網路，Google提到，使用正確的配置甚至可以得到比手動更好的結果，只不過這些演算法運算量通常很大，所以在融合之前，需要訓練數千個模型，而且搜尋空間僅能針對特定領域，無法在跨領域良好地運作。

為了解決這些問題，Google發布了開源Model Search平臺，該模型搜尋系統是由多個訓練程式（Trainer）、搜尋演算法、轉移學習演算法和用來儲存各種評估模型的資料庫所組成，能以自適應的方式，執行各種機器學習模型的訓練工作和評估實驗。

每個訓練程式皆獨立完成實驗，但其他訓練程式也都可以從實驗中獲得知識，每個周期開始，搜尋演算法都會查詢已完成的實驗，並且決定下一步要嘗試的項目，並對當下所找到的最佳模型架構進行一些變異，並將模型結果回饋給訓練程式。

Model Search中實作的搜尋演算法具有適應性、貪婪和漸增特性，所以收斂的速度比增強式學習還要快，但是卻又能模仿增強式學習，達到兼具深度與廣度的探索，更快地找到最佳結果。而為了要進一步提高效率和準確性，Google提到，Model Search使用知識蒸餾（Knowledge Distillation）和權重共享，使得各種內部實驗可進行轉移學習，以加快訓練速度，並且有更高的機會發現更好的架構。

Model Search可以顯著地提升模型生產速度，Google將Model Search用於探索關鍵字標記與語言辨識模型，不到200次迭代，就能獲得比專家設計更好的模型，少使用了13萬可訓練參數。

Google還使用Model Search，來找出適用於CIFAR-10圖像資料集的圖像分類模型架構，而Model Search僅經過209次模型實驗，就達到基準測試91.83精準度，相較於之前使用增強學習的研究，要達到相同的精準度，必須要經過1,160次的實驗。