率先採用英特爾新款CPU與IPU，Google擴充運算服務

今年1月英特爾發表第四代Xeon Scalable處理器平臺，Google Cloud是第一家響應號召的雲端廠商，5月正式推出一般用途運算服務C3，當中不僅採用這批新上市的處理器，也搭配Google自行調整設計的英特爾基礎架構處理器（IPU）。事實上，他們在去年10月中舉行的年度用戶大會Next，預告將推出C3，

到了今年5月C3正式上線，可供應Google Compute Engine（GCE）、Google Kubernetes Engine（GKE）的客戶使用。

最初C3先提供高CPU組態（每顆vCPU搭配2 GB記憶體），今年7月底，Google Cloud宣布C3的標準組態（每顆vCPU搭配4 GB記憶體）與高記憶體組態（每顆vCPU搭配8 GB記憶體）正式上路，標準組態搭配本機固態硬碟（最大為12 TB）目前也已經就緒，8月開放公開預覽測試。

而關於C3搭配的英特爾處理器，Google Cloud也在線上技術文件表明其型號為Xeon Platinum 8481C。

採用第四代Xeon Scalable處理器的C3，最明顯獲得的效益是具備更強大的人工智慧與機器學習運算效能，關鍵在於這批處理器內建英特爾發展的進階矩陣延伸指令集（AMX），可大幅改善深度學習訓練與推論能力。舉例來說，若使用bfloat16（BF16）資料格式進行自然語言處理框架BERT的矩陣乘法運算，在支援AVX512指令集的系統執行狀況作為比較基準，啟用AMX的運算平臺在資料處理的吞吐量可達到12倍；若使用INT8格式來進行這類運算，AMX能帶來兩倍的吞吐量。

除此之外，在PyTorch、TensorFlow等常用的深度學習框架軟體當中，近期版本已整合AMX指令，因此，這些軟體的用戶能夠輕鬆使用這項處理器內建的硬體加速器。

在此同時，受惠於英特爾IPU的採用，C3這款雲端虛擬機器服務的網路相關工作負載，例如封包處理、流量隔離與安全控管等作業，均可卸載至IPU，使得C3的CPU可保有更多資源，而能支撐更大規模的虛擬機器運作，並且減少網路I/O層面的干擾；同時，C3也能藉此得以使用效能達到200 Gbps的低延遲網路，可達到上一代虛擬機器服務C2的兩倍，更能因應緊密耦合型態的分散式運算、高效能運算，以及網路密集型工作負載。

除了虛擬機器本身能使用IPU的網路卸載技術，C3硬碟儲存組態的部分，也可選用Google Cloud去年9月推出的區塊儲存服務Hyperdisk，若以 C2的儲存組態為基準，C3搭配Hyperdisk之後，最高可提供4倍的吞吐量與10倍的IOPS。

基本上，這項區塊儲存服務可善用IPU技術，將儲存處理從虛擬機器內部抽離，交由IPU統籌，提供更進階的資料存取效能、彈性與效率，從而動態、獨立地執行儲存效能與容量規模的擴展，以因應資料分析、資料庫這類資料密集型工作負載帶來的儲存I/O需求，如此一來，用戶就不需要為了獲得更高的儲存效能，而需選擇昂貴、大型的運算執行個體服務。

值得注意的是，今年8月底舉行的年度用戶大會Next期間，Google Cloud表示，C3將支援Hyperdisk Extreme，虛擬機器可掛載這類型的雲端硬碟／區塊儲存區，最高能提供50萬IOPS儲存效能，目前已開放預覽測試。

而對於C3這批後續推出的運算服務，Google Cloud現在將它們稱為第三代Compute Engine執行個體，並且特別揭露支撐這些服務的底層硬體，都採用他們發展的分層、可橫向擴展卸載架構（tiered scale-out offloads）「Titanium系統」，因此能廣泛因應不同類型工作負載，提供顯著增長的效能。

Titanium之所以能奏效，主要仰賴兩大技術：一是IPU提供較理想的安全性隔離機制，具有可預測且有效率的處理效能，可程式化的封包處理機制（提供200Gbps網路與3倍的封包傳輸量），以及搭配PSP安全協定而能進行網路傳輸加密（In-transit encryption），另一是Titan提供低功耗的微控制器，協助Google Cloud的每一臺虛擬機器均能以受信任的狀態開機啟動。

相較於個別主機層級的資安、網路、儲存工作的卸載，Titanium提供額外的橫向擴展卸載層（tier of scale-out offloads），可執行在主機以外的環境，簡而言之，這套系統可進行大量、廣泛的部署，並能針對不斷改變的工作負載進行動態調整，以便持續提供最佳效能。

Google Cloud表示，目前Titanium至少可用於在兩個IT基礎架構環節：區塊儲存、網路路由。以前者而言，能促使虛擬機器搭配的Hyperdisk區塊儲存，透過這樣的工作卸載，提供顯著增長的I/O效能，因為搭配Titanium橫向擴展卸載層的使用，能夠針對Google的大型叢集層級檔案系統Colossus，提供分散I/O存取能力。

而在網路路由的部分，Google在IPU卸載裝置會使用Andromeda虛擬網路堆疊，能協助傳送沒有路由至Hoverboard閘道的全部封包。

談完卸載、加速架構的運作方式，接下來看性價比的表現上，Google Cloud也公布C3的多項測試數據，突顯其效益。舉例來說，同樣選擇8顆虛擬處理器的組態，若在C3執行Nginx網站應用程式，比起在C2使用，性價比可提升88％；如果執行Postgres、MySQL這類關聯式資料庫系統，或是Redis記憶體內資料庫，改善幅度可達40％、39％；執行Hadoop資料分析應用系統，則提升18％。

若與同期（2023年5月）其他雲端業者的運算服務相比，該公司表示，C3在性價比的表現上，平均可領先25％。

產品資訊

Google Cloud Compute Engine C3
●原廠：Google Cloud
●建議售價：c3-standard-4每月預估費用為153.43美元
●採用處理器：英特爾第四代Xeon Scalable系列Xeon Platinum 8481C
●提供服務規模選擇與最大組態：c3-highmem-176，176顆虛擬處理器、1,408 GB記憶體、網路頻寬最高為200 Gbps，儲存搭配平衡永久硬碟（每臺虛擬機器最多掛載128臺硬碟）

【註：規格與價格由廠商提供，因時有異動，正確資訊請洽廠商】