微軟預覽生成式AI專用虛擬機器ND H100 v5

微軟推出最新用於大規模人工智慧運算的虛擬機器系列ND H100 v5，該虛擬機器系列採用Nvidia新的資料中心等級GPU H100，用戶可以按需配置8到數千個GPU，這些GPU可透過NVSwitch和NVLink 4.0技術相連，可提供更高的人工智慧運算效能。

ND H100 v5所使用的H100，是Nvidia去年剛發布目前該公司最先進的資料中心GPU，無論是在高效能運算、人工智慧模型推理還是訓練，效能都較上一代ND A100 v4虛擬機器，所使用的Nvidia  A100 Tensor Core GPU高上數倍，H100模型訓練可比A100快達9倍，模型推理甚至可快達30倍。

除了製程的進展之外，H100特別之處在於內建了一個稱為Transformer Engine的加速運算引擎，能夠加速以Transformer神經網路架構為基礎的人工智慧模型，像是GPT-3.5或是RoBERTa等預訓練模型。同時H100還支援機密運算，Nvidia將原本僅能在CPU中提供的機密運算資料保護擴展到GPU上，供用戶安全地執行企業專屬模型，避免人工智慧模型未經授權存取。

ND H100 v5中H100 Tensor Core GPU以NVSwitch和NVLink 4.0互連，每個虛擬機器的8個本地GPU，擁有3.6TB/s的對分頻寬（Bisectional Bandwidth），而GPU則是以PCIE 5.0和主機相連，每個GPU頻寬為64GB/s。

ND H100 v5使用第4代Xeon Scalable處理器，並且具有DDR5記憶體，使用非阻塞廣樹（Fat-Tree）網路，每個虛擬機器具有3.2Tb/s頻寬，而每個GPU則有400 Gb/s網路頻寬。第4代Xeon Scalable處理器是英特爾在2023年初才剛推出的產品，採用10奈米製程，內建高階矩陣擴充（AMX）加速器，能夠提高人工智慧工作負載的處理效能。