Cloud周報第222期：Google AI超級電腦技術架構大升級，日本MUFG兩萬六千名員工改用雲端CRM，英國Lloyds則打造全集團通用GAI平臺

雲端重點新聞（2025/3/20～4/15）

這期介紹Google在Next大會最新發表的AI超級電腦技術架構的最新發表之外，也特別介紹了兩家大型金融集團的上雲成果，一家是日本金融機構日本最大金融集團MUFG（三菱日聯銀行）採用雲端CRM，另一家是英國最大零售銀行集團Lloyds打造了一個全集團通用的雲端GAI平臺

#AI技術架構 #Google產品架構
一張圖揭露Google AI超級電腦架構今年有哪些新產品，從硬體層到軟體都瞄準AI推論

早在2年前，Google就發表了這個AI Hypercomputer超級電腦架構，整合了效能最佳化的硬體、開放軟體與與靈活的消費模式。當年提出這個架構的目標是為了提供AI訓練、微調與服務的效率及生產力。這個AI超級電腦架構可說提供了一套AI基礎設施，可供企業直接取用，或透過Vertex AI開發平臺來調度運用。  

在今年Next大會中，AI Hypercomputer從底層硬體、中間開放軟體，到上層消費模式都有更新，Google也用一張圖來盤點這11項新特色。

在AI超級電腦架構的底層硬體層，除了發表了專為模型推理所設計的第七代TPU處理器Ironwood之外，也推出了兩款新的GPU虛擬機器實例，包括了正式上市的A4 VM（Nvidia B200）以及目前處於預覽階段的A4X VM，後者搭載了Nvidia GB200。為了支援AI工作負載需要的超低延遲，Google提供了400G頻寬的網路互連和跨雲互聯，是原本頻寬的4倍。可以支援到單一叢集3萬顆GPU。另外也針對AI工作負載的資料存取，推出兩款新的儲存機制上，一像是新的區塊儲存池服務，稱為Hyperdisk Exapools（超磁碟池），可以管理和調度最多數EB的資料量，支援AI叢集每秒高達TB級的資料流量，預計在今年第二季釋出預覽版。

Google物件儲存則推出了用Google檔案叢集專案Colossue打造的區域內Rapid Storage（快速儲存）服務，透過gRPC串流技術，可以提供低於1毫秒延遲的亂數讀寫，每秒6TB的資料吞吐量，在單一區域內支援GPU和TPU的資料存取，來支援AI模型訓練之用。針對AI工作負載的資料存取，Google也推出兩款新的儲存機制上，一像是新的區塊儲存池服務，稱為Hyperdisk Exapools（超磁碟池），可以管理和調度最多數EB的資料量，支援AI叢集每秒高達TB級的資料流量，預計在今年第二季釋出預覽版。在物件儲存服務上，推出了用Google檔案叢集專案Colossue打造的區域內Rapid Storage（快速儲存）服務，透過gRPC串流技術，可以提供低於1毫秒延遲的亂數讀寫，每秒6TB的資料吞吐量，在單一區域內支援GPU和TPU的資料存取，來支援AI模型訓練之用。

不只訓練，針對AI推論需求，Google也推出了Cloud Storage Anywhere Cache（雲端儲存任意地點快取）可以將既有區域雲端儲存的資料轉移到指定雲端區域的快取上，進一步減少資料讀取的延遲時間和提高吞吐量，例如針對不同地區使用不同的雲端區域快取，來提高AIj推論的反應速度。

在AI超級電腦架構中間的開放軟體層，最大新特色是發表了雲端版Pathways，這是一個由Google DeepMind團隊開發的分散式訓練和推論平臺。Pathways可以拆解生成式AI推論服務處理過程，將高耗運算的prefill（預填入）任務和高耗記憶體的Decode（解碼）任務，拆成不同的處理，各自分配不同的運算資源來處理，來優化AI推理的處理。

GKE是不少企業常用於執行模型推論的雲端環境之一，Google推出了叢集管理工具Cluster Director升級版，可支援GKE工作負載的管理，像是工作負載配置安排，排程規劃等，來支援AI訓練耕作負載的調度。GKE更推出了兩項支援AI推論的新功能預覽版，推論閘道器和推論快速啟動器，前者可以用來分配和安排大量AI推論請求的負載平衡，後者則可以依據AI模型特色快速配置需要的GKE環境資源。最後一項軟體層新特色是推出可以支援TPU運算的vLLM推論框架，這是一個支援超大吞吐量的快速推論框架，也可使用TPU來計算。

在算力消費模式上，可自動調配工作負載的Google動態工作負載排程器（DWS）服務，也宣布支援加速處理器，可以在Flex Start模式下，調度第五代TPU v5e晶片、第六代TPU晶片Trillium，搭載H200的A3 Ultra虛擬機器、搭載B200的A4虛擬機器等。未來還將支援日曆模式，指定日期來調度。DWS更增加了適合長期執行的推論工作負載調度和大範圍訓練任務的負載調度。

#GAI趨勢 #企業需求觀察
美銀研究：GAI帶動AI基礎設施三階段發展，2027年將爆發企業AI需求潮

3月底，美國銀行全球研究部（BofA Global Research）在臺舉辦論壇，美銀超級研究部門主管Tap Liani觀察，「AI基礎設施將進入一個持續多年成長的發展周期。」

他剖析，當前AI發展處於基礎設施建設的初期，還沒看到應用程式。大型雲端公司正在打造AI需要的基礎設施，是第一階段，第二階段則是雲端SaaS公司，他們會找到獨特的方式運用AI。但「第三階段才是影響最大的階段，可能從2027年開始，大量企業要找出適合AI的應用。」像是利用AI來創造新的收入，降低成本，尋找新顧客，尋找新的商業模式等。「第三階段的基礎建設規模，將比現在的規模還要大四到五倍。」

Tap Liani剖析，因為企業不想將自己的數據交給大型雲端業者，為了將數據留在內部，必須建立自己的基礎設施。未來2、3年，企業會積極開始建立邊緣雲，將創新和算力帶到邊緣環境中。從第一階段到接下來的二、三階段發展，「AI基礎設施將進入一個持續多年成長的發展周期。」

AI基礎設施如何降低成本？必須先區分出訓練和推論的不同，訓練不是節省成本最多的階段，推論才是。「AI推論更適合企業的應用，如果推論成本可以降低9成，甚至更高，將加快推論應用的部署，進而加速企業採用GAI。」Tap Liani觀察。

從今年GTC主題演講揭露的數據，光是四大公雲業者在2025年就訂了高達360萬張新一代Blackwell GPU卡，比2024年的前一代Hopper GPU訂購量130萬張，多了快三倍。這個數據呼應了美銀超級研究部門主管的觀察，當前處於第一階段的發展，大型雲端積極投入AI基礎設施的建置。等到第三階段，企業大量採用後，知名研究機構如Dell’Oro也曾預測，2028年全球AI資料中心的資本投資規模將高達1兆美元。

#AI推論 #TPU晶片
Google推出第一款瞄準推論AI需求的TPU

剛4月初剛結束的Google年度大會Next，官方統計多達229項宣布，涵蓋了GAI在不同層面的應用需求，從雲端AI基礎架構，到地端GAI部署，推出了多款更強更多模態內容生成的AI模型升級，也涵蓋了後端服務、資料服務到前端GAI開發的輔助，更發表了一系列辦公室生產力套件的GAI升級版本。

第一個值得關注的重大新產品是Google Cloud推出第一款瞄準推論AI需求的TPU處理器Ironwood。這是第七代TPU處理器，主要針對大規模推論需求而設計，尤其可用於思考型的模型，像是大型語言模型，進階推理任務的模型或是採取混合專家模型架構的LLM。

Google雲目前提供了兩款規模的Ironwood工作負載，一種是256顆TPU的規模，另一個是9,216顆TPU的叢集。這款新TPU單一晶片可以提供最高4,614 TFlops的運算能力，9,216顆TPU的叢集可以提供到42.5 EFlops的算力，是現在世界最強超級電腦El Capitan算力的24倍以上。Ironwood採取液體冷卻設計，每瓦提供的算力是去年第六代TPU的2倍。

為了支援如此龐大的算力計算，Google Cloud也搭配使用了DeepMind團隊開發的ML分散式計算框架Pathways，可以將數十萬個Ironwood晶片組合在一起進行分散式運算。
不只自家開發的TPU，在AI算力支援上，Google Cloud先前就宣布將提供搭載Nvidia B200和GB200兩款GPU的 A4和A4X虛擬機器，Google會成為Nvidia新一代GPU架構晶片Vera Rubin GPU的第一家雲端供應商。

#落地部署 #Gemini
Google最強GAI模型Gemini終於支援落地部署了！今年第三季釋出公開預覽版

另一個值得注意的GAI模型重大宣布是，Google Cloud最強大的Gemini模型，開始支援落地部署方式，可以部署到企業內部的Google分散式雲端（GDC）伺服器上，不用連上網際網路也能提供GAI模型推論。可以提供單一伺服器的部署，也能支援到數百個機櫃規模的落地部署。Gemini模型可以部署到採用Nvidia Blackwell架構GPU的系統，目前先支援戴爾的DGX B200和HGX B200系統。在本地端GDC執行的Gemini模型，可以處理百萬等級的上下文，也能具備多模態，處理文字、圖片、聲音和影音等不同資料格式，支援超過100種語言。在GDC上的Gemini運作，安全等級可以提供到美國政府機密與最高機密等級任務的強度。

不只Gemini，今年第三季，AI代理服務Google Agentspace搜尋服務，也會推出可以落地部署到GDC伺服器的版本，預建多款AI代理，也能自製。可以支援企業內部的對話式資料搜尋，透過預設的資料連結器，能存取企業多款軟體系統上的內部資料，如Confluence、Jira、ServiceNow和Sharepoint等。本地端部署的Agentspace支援權限感知功能，可依據存取控制清單，來確保搜尋結果的合規和可用權限。

#金融導入SaaS #客戶關係管理
日本最大金融集團導入SaaS版CRM，提供單一顧客視圖支援2萬6千名業務員

日本最大金融集團MUFG（三菱日聯銀行）宣布今年4月將啟用新一代CRM，提供旗下各分行超過2萬6千名業務人員。為了有能力快速更新與提高擴充性，三菱日聯銀行導入SaaS雲端版CRM，導入Salesforce的金融雲服務，來取代內部地端部署方式。

新版CRM最大特色是可以集中集團內部和外部的所有顧客數據，在單一畫面上呈現出顧客的完整視圖，讓業務人員更了解顧客來提出建議。另外也提供了銷售人員的AI推薦功能，可以自動針對每一個顧客提供客製化的金融業務建議方案，來加快業務人員的速度。新版CRM特別強化對新手業務人員的輔助，協助他們與顧客的聯繫和接觸時，可以更快做出反應，來提高銷售效率和成功率。三菱日聯銀行導入後，將持續聚焦於提高AI推薦客製化方案的準確性。
早在今年一月，他們也公開了多項GenAI成果，像是為全球資本市場業務銷售人員開發的GenAI銷售輔助平臺Markeetgin DX，可用來快速彙整一家企業客戶的趨勢分析。

#金融GAI平臺實例 #代理型AI
英國最大零售銀行集團Lloyds打造雲端通用GAI平臺，加速開發18套GAI應用，還有12套6月上線

英國最大零售銀行集團Lloyds，近日宣布，使用雲端Vertex AI平臺打造了一套全集團通用的GenAI應用平臺，提供給內部300名資料科學家和AI工程師使用。這個新平臺，也整合了 Lloyds金融集團15套原有的模型建置系統，以及上百個集團內子公司在本地端部署的獨立模型。 

這個銀行集團旗下包括了英國三大銀行之一Lloyds銀行，除了消金和企金之外，該集團業務還涵蓋了保險，人壽，養老金管理等，顧客超過2,700萬人，企業顧客也超過100萬家，集團規模超過10萬名員工。

Lloyds銀行集團數據和分析長Ranil Boteju指出，新GenAI開發平臺可以讓集團各地的資料科學家和AI工程師，遵循統一的安全機制存取GenAI技術，可以活用第三方或開源的大型語言模型，來加速AI創新速度，也能來改善既有的金融服務演算法，像是採用了新的收入驗證演算法，讓顧客貸款申請的財力驗證作業從數天縮短到數秒。

Lloyds金融集團在新GAI平臺上已經啟動了80多項AI專案，已有18套GenAI系統上線使用，應用場景涵蓋該集團所有業務，預計今年6月底還會上線12套GenAI系統。
目前，他們正在研發一款可以改變顧客與銀行互動方式的代理型AI，已經完成雛形，預計今年底推出給顧客。

#SSL憑證 #網站安全
企業官網要注意，SSL憑證效期開始逐年縮短，現行一年更新週期，四年後每個月都要更新

擔心長效期的憑證可能落入駭客手中，助長惡意程式散布， SSL/TLS憑證的效期越來越短。 近日，憑證產業論壇CA/Browser Forum（CA/B論壇）做出決議，所有SSL/TLS憑證最長效期將由現行398天縮短9成，到2029年剩47天，且每月需更新一次。企業需要更留意官網憑證效期，避免過期導致網站遭到瀏覽器列入高風險或不安全網站清單。
現行所有SSL/TLS憑證最長效期為398天，從 2026年3月15日起，SSL/TLS憑證最長效期會縮短到200天，6個月更新一次。而網域控制驗證（DCV）重覆使用期限也減到200天。2027年3月15日起，憑證最長效期會再短100天，3個月更新一次，DCV重覆使用期限同步減為100天。4年後，即2029年3月15日，最長SSL/TLS憑證效期就會減至47天，每個月更新一次，DCV重覆使用期限將只剩10天。

#虛擬化 #ESXi
中斷一年多，博通再次釋出免費版ESXi授權

VMware過去長年提供的免費版ESXi，向來是許多開發者測試或中小企業管理小規模虛擬機器的主要工具，直到去年2月，博通調整VMware永久授權政策時，也決定終止免費版本。事隔一年，最近博通又低調地開始釋出ESXi 8.0的免費版。

博通在4月10日發布的ESXi 8.0版更新3e版本的說明文件中，在最新消息提到，這款VMware vSphere Hypervisor 8是一個入門級的虛擬機器管理版本，從這個版本開始，可以從博通支援入口網站上免費下載。不過，目前在中文版ESXi 8.0發布說明中，還沒提到這點。 ESXi 8.0e這個版本不是直接開放下載，使用者需先在博通支援入口網站註冊後才能免費下載。

更多新聞

• 國際能源署IEA預測，全球資料中心到2030年的用電量將增加一倍以上，AI為最大驅動力
• 微軟擴充.NET Aspire部署能力，標準化應用開發到多雲部署流程

責任編輯：王宏仁