Google用新方法縮放網路模型，提高準確率卻不會犧牲效能

Google AI研究團隊最近發表了縮放卷積式網路（CNN）模型的新方法，利用簡單卻高效的複合係數，透過更結構化的方式，來縮放CNN模型，有別於任意擴展模型維度的傳統方法，像是寬度、深度，或是用更高解析度的圖像當訓練資料，Google研究團隊的方式是針對每個維度，用固定的係數，一致地擴展，利用該方法搭配上Google的自動建模工具AutoML，Google開發出一系列更小更快的模型EfficientNet，效能可以快上10倍。

CNN模型的開發通常是用固定的資源成本，當有更多資源時，為了達到更好的準確率，就會擴展CNN模型，舉例來說，可以增加ResNet網路的層數，從ResNet-18擴展至ResNet-200，傳統任意擴展模型維度的方法，雖然也可以改善準確率，但是需要經過繁雜的手動優化過程，且通常需要犧牲效能，Google的目標是要找出提升準確率的同時，又能保持效能的縮放模型方法。

為了理解縮放模型的影響，Google研究團隊有系統地研究了擴增模型不同維度所產生的影響，當擴增個別維度能夠改善模型表現時，Google觀察如何平衡模型其他所有的維度，以最好地改善整體的表現。第一步，Google用網格搜尋（grid search）來找出擴展不同維度之間的關係，如此一來，能夠確定每個維度的適當係數，接著，用這些係數來將原本的模型縮放成目標模型大小，或是符合預算的模型。

此外，由於EfficientNet模型展現出顯著的效能改善，Google希望EfficientNet模型能成為未來電腦視覺任務的新基礎，因此，Google團隊開源釋出所有EfficientNet一系列的模型。