Google：機器學習晶片TPU效能為GPU及CPU的15倍和30倍

Google去年證實數年前開始為機器學習平台Tensor客製打造晶片Tensor Processing Unit (TPU)，Google再公佈目前TPU的初步研發成果， 包括效能已經達到GPU及CPU的15及30倍。

Google本周在美國工程學院的一場研討會中公佈TPU的研發成效成果。 第一代TPU主要用於以訓練好的模型（而非訓練中的模型） 進行推斷(inference)。目前在使用神經網路推斷的AI運算任務中，TPU的效能是當代GPU和CPU的15到30倍，這款TPU能源效率也更好，每TOPS/Watt（即耗費每瓦特電力所執行的兆次運算）值比傳統晶片大30到80倍。然而神經網路執行上述應用卻僅需100到1500行TensorFlow程式碼。(來源：Google)

Google硬體工程師 Norm Jouppi表示，自製TPU源自於6年前開始在更多產品實行成本高昂的深度學習模式時，這些模型運用衍生出的運算成本令他們感到擔憂。若以人們每天使用Google語音搜尋僅短短三分鐘，並以用深度神經網路來執行語音辨識系統這種需求來計算，花出的錢已足夠多蓋一座Google資料中心。 

他表示，運用TPU有助於解決這類問題，同時可讓Google以極快速度做出預測，實現不到一秒時間內回應的目標。目前Google TPU已經用在所有搜尋服務，為Google圖片搜尋、Google Photos及Google Cloud Vision API提供準確的視覺模型, 此外也用在提升Google Translate的翻譯品質，以及擊敗韓國棋王李世石的Google Deep Mind上。

Google去年擊敗韓國棋王李世石的AlphaGo，背後功臣就是由TPU計算的伺服器機櫃。(來源：Google)