Google發表採用新一代Cloud TPU v4晶片的高效能機器學習叢集

Google新推出Cloud TPU v4機器學習叢集預覽版，該叢集使用了Google I/O 2021所發表，專為機器學習工作負載所設計的晶片Cloud TPU v4，由於該晶片擁有極高的FLOP利用率，能夠提供大規模持續FLOP，因此能夠大幅縮短模型運算時間，同時減少用戶成本開銷。

Cloud TPU v4 Pods所提供的高運算力，使得機器學習叢集能夠支援複雜的模型，包括大規模自然語言處理、推薦系統和電腦視覺演算法。該叢集擁有高達9 exaflops的峰值聚合效能，Google認為，就Cloud TPU v4 Pods叢集的累積運算能力來算，是目前最大的公開機器學習中樞（ML Hub）。

Cloud TPU v4機器學習叢集提供超大規模以及高性價比的機器學習訓練資源。每個Cloud TPU v4 Pod由4,096個晶片構成，這些晶片由超高速互聯網路連接在一起，每一臺機器的頻寬，相當於每秒6 TB，可用來快速訓練目前最大的模型。

在性價比方面，每個Cloud TPU v4晶片的峰值FLOP，約為Cloud TPU v3的2.2倍，每美元峰值FLOP為1.4倍。Cloud TPU v4擁有極高的FLOP利用率，Google提到，決定模型訓練效率的是大規模且持續的高FLOP，由於Cloud TPU v4極高FLOP利用率，因此有助於縮短訓練時間，並且帶來更高的成本效益。

Cloud TPU v4還支援從單一裝置存取完整的32 GiB記憶體，高於TPU v3的16 GiB，並且提供兩倍嵌入加速，有助於提高訓練大規模推薦模型效能。

另外，Google也提到，Cloud TPU v4晶片本身非常節能，每瓦最大功率峰值FLOP是TPU v3的3倍，藉由使用節能的機器學習專用硬體、高效能的資料中心，以及乾淨的能源，可以有助於用戶減少能源使用和碳排放。