微軟生成式AI用Azure ND H100 v5 VM正式上線

微軟今年3月宣布開放預覽的生成式人工智慧專用虛擬機器Azure ND H100 v5，現在正式上線，該虛擬機器配備Nvidia H100 Tensor Core GPU與低延遲網路設備，可用於執行複雜的生成式人工智慧運算。另外，微軟也擴大Azure OpenAI服務規模，新增在澳洲、亞洲和歐洲雲端地區提供服務。

Azure ND H100 v5的特色在於，配備8個Nvidia在2023年新推出的資料中心用H100 Tensor Core GPU，以及採用低延遲Quantum-2 ConnectX-7 InfiniBand網路設備，每個虛擬機器可擁有高達3.2 Tb/s的跨節點頻寬，相當於每個GPU可獲得400 Gb/s的頻寬，確保跨GPU的運算效能。

Azure ND H100 v5的CPU使用第4代Intel Xeon Scalable處理器，而GPU與主機介面使用PCIe Gen5，每個GPU可以獲得64GB/s的頻寬，進一步減少CPU和GPU間的傳輸瓶頸。

有了H100 Tensor Core GPU的加持，ND H100 v5運算效能較上一代的虛擬機器更好，由於H100支援FP8浮點數資料型別，因此ND H100 v5在矩陣運算上，效能可為上一代ND A100 v4的6倍，執行BLOOM 175B端到端大型語言模型推理，速度則是上一代的2倍。

盤點Nvidia在其2022 GTC大會中，預告將會部署H100執行個體的雲端供應商，目前正式推出的服務有AWS的Amazon EC2 P5，以及微軟Azure ND H100 v5，而Google雲端的A3，還有甲骨文OCI採用H100的執行個體則仍在預覽測試階段。

除了Azure ND H100 v5虛擬機器的正式推出外，微軟也宣布擴大提供OpenAI GPT-4和GPT-35-Turbo的Azure OpenAI服務，除了原本的美國東部、美國中南、法國中部和西歐，現在更增加了澳洲東部、加拿大東部、美國東部2、日本東部和英國南部地區。