全新 NVIDIA H100、H200 Tensor 核心GPU 執行個體即將加入Microsoft Azure 以加速人工智慧作負載

隨著NVIDIA持續與微軟合作建構最先進的人工智慧基礎設施，微軟正在向Microsoft Azure引入基於H100的虛擬機，以加速高要求的人工智慧工作負載。

在今天的西雅圖Ignite大會上，微軟宣布了Azure的新NC H100 v5虛擬機系列，這是業界首個配備NVIDIA H100 NVL GPU的雲端執行個體。

這一產品結合了透過NVIDIA NVLink連接的兩個基於PCIe的H100 GPU，擁有近4 petaflops的人工智慧運算能力和188GB更快的HBM3記憶體。NVIDIA H100 NVL GPU在GPT-3 175B上的效能比上一代提高了12倍，非常適合進行推論和主流訓練工作負載。

此外，微軟宣布計劃在明年將NVIDIA H200 Tensor 核心 GPU增加到其Azure機群中，以支持更大模型的推論，而不增加延遲。這種新的產品是專門為加速最大的人工智慧工作負載而設計的，包括大型語言模型和生成式人工智慧模型。

H200 GPU 使用最新一代 HBM3e 記憶體，顯著增加了記憶體容量和頻寬。 與 H100 相比，這款新 GPU 將提供 141GB HBM3e 記憶體（增加 1.8 倍）和 4.8 TB/s 峰值記憶體頻寬（增加 1.4 倍）。

雲端運算變得機密

為了進一步擴大NVIDIA加速的生成式人工智慧運算對Azure客戶的可用性，微軟宣布了另一款由NVIDIA驅動的執行個體：NCC H100 v5。

這些搭載NVIDIA H100 Tensor 核心 GPU的Azure機密運算虛擬機器（Confidential VMs）將使客戶得以保護在使用中、記憶體中資料和應用程式的機密性和完整性，同時獲得H100 GPU無與倫比的加速。這些GPU增強的機密運算虛擬機器將很快推出專屬預覽。

欲了解有關搭載NVIDIA H100 Tensor 核心 GPU的新機密運算虛擬機器，以及欲註冊參加預覽，請閱讀部落格。了解更多關於NVIDIA驅動的Azure執行個體，請參考GPU虛擬機器資訊網頁。