在2022年3月,Nvidia發表採用Hopper架構的新一代資料中心GPU產品H100,以及採用這款GPU的AI整合應用設備DGX H100;同年9月該公司宣布H100已全面投入生產,預計10月第一波基於Hopper架構的產品與服務,並表示客戶可以開始訂購DGX H100。然而,到了今年1月,隨著英特爾正式發表代號Sapphire Rapids的第四代Xeon Scalable系列處理器,Nvida DGX H100總算諸事俱備,5月宣布正式出貨,有意採用的企業與組織此時可洽詢全球合作廠商採購。

原本英特爾Sapphire Rapids去年就應該上市,甚至會早於代號為Genoa的AMD第四代EPYC處理器推出,使得DGX H100為了配合採用PCIe 5.0介面的Nvidia H100,而搭配較早預告支援此I/O介面的英特爾Sapphire Rapids處理器平臺。結果事與願違,AMD第四代EPYC處理器竟搶先一步於去年11月發表,同樣能支援PCIe 5.0介面,而英特爾Sapphire Rapids今年1月才正式發表,而Nvidia DGX H100最近也開始在產品規格當中,明確標示CPU規格:2顆英特爾56核心第四代Xeon Scalable處理器,取代先前所用的「Dual x86」這樣含糊的描述。

關於這樣的搭配,其實在2022年6月就已經傳出消息了。根據IT新聞媒體報導,在美銀證券集團2022全球科技大會上,Nvidia執行長黃仁勳明確表示,DGX H100將會採用英特爾Sapphire Rapids,展現持續支援x86處理器平臺的態度。

除了因為採用的處理器而引發眾人關切,DGX H100本身有哪些特色?Nvidia在2022年發表這款產品之初,曾強調幾個重點,首先,這套系統本身配備了8個Nvidia H100 GPU,單臺設備可提供32 Petaflops的FP8精度AI運算效能,相當於上一代產品的6倍(DGX A100提供5 Petaflops的AI運算效能),能用於大型語言模型(LLM)、推薦系統、健康照護研究,以及氣候科學等大規模運算需求。

若將多臺DGX H100透過Nvidia NVLink Switch System交換器系統連結,組成整櫃型系統DGX SuperPOD,最多可串聯32臺DGX H100,能同時運用256個H100 GPU,系統總體供應的AI運算效能將達到1 Exaflops的規模,足以承擔大規模的工作負載,例如使用數兆個參數的大型語言模型運算。

  

在硬體內部元件的配置上,DGX H100除了搭配8個H100 GPU,Nvidia也在此置入8個網路埠,提供400Gb/s的InfiniBand或乙太網路環境,以便藉此連接其他運算系統與儲存設備。相較之下,上一代產品(DGX A100)搭配的InfiniBand與乙太網路連接組態,是支援200Gb/s規格的ConnectX-6或ConnectX-7系列網路卡。

 

值得注意的是,Nvidia最初發表時,曾提到DGX H100將配備2張BlueField-3 DPU加速卡,因應進階網路、儲存、資安等多種服務的卸載、加速、隔離處理,Nvidia目前在自家網站公布的產品規格,雖然已調整這段敘述,但在Hopper架構白皮書還繼續保留,因此,DGX H100是否仍內建DPU,仍需洽詢Nvidia確認。

  

而在GPU互連介面上,DGX A100與A100 GPU採用的第三代NVLink技術,設備搭配6顆第二代NVSwitch晶片,I/O頻寬為600 GB/s,新推出的DGX H100與H100 GPU採用了第四代NVLink技術,設備搭配4顆第三代NVSwitch晶片,I/O頻寬高達900 GB/s,提升至1.5倍以上。

關於這套產品的應用形式上,以11月初最新發布的全球500大超級電腦排行榜而言,有兩座系統採用DGX H100,分別是拿下第9名的Nvidia Eos,以及第34名的DeepL Mercury,都是採用DGX SuperPOD參考架構而成的;

  

  

而與企業儲存系統一起搭配的融合式基礎架構DGX BasePOD當中,都可搭配DGX A100,但如果是搭配DGX H100,目前有Pure Storage明確提出。

    

  

產品資訊

Nvidia DGX H100
●原廠:Nvidia
●建議售價:廠商未提供
●機箱尺寸:6U
●處理器:2顆56核心Intel Xeon Platinum 8480C
●系統記憶體:2TB
●硬碟:8臺2.5吋U.2 3.84 TB NVMe SSD(RAID 0),搭配2臺M.2 1.92 TB NVMe SSD
●GPU加速模組:8個Nvidia H100
●網路介面:4個OSFP埠,可連接2張ConnectX-7網卡;2個雙埠ConnectX-7;1個雙埠100GbE網卡
●軟體:Nvidia AI Enterprise軟體套件、Nvidia Base Command雲端管理平臺、Linux作業系統(DGX OS 6或Ubuntu 22.04,或DGX Software for Red Hat Enterprise Linux 9、DGX Software for Red Hat Enterprise Linux 8)

【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】

熱門新聞

Advertisement