在2022年11月舉行的SC22大會期間,Dell基於同年發表的資料中心GPU產品,推出3款專供高效能運算領域的伺服器,其中裝載8個Nvidia H100 GPU的2路6U機型XE9680,終於在今年3月底正式出貨,最近我們到該公司網站查詢是否有新款GPU伺服器上市,赫然發現已悄悄列出另一款裝載4個Nvidia H100 GPU的2路4U機型XE8640,而且釋出規格表、技術指南等產品文件(上面載明的發布時間是今年3月),Dell Technologies的YouTube頻道在5月底,也特別發布一支XE8640的開箱展示影片。不過,在Dell為PowerEdge XE伺服器設立的專屬網頁,截至目前為止,仍將XE8640標示為「即將推出」。
就產品定位而言,稍早推出的XE9680,專為AI加速最佳效能、提供最快實現價值速度所設計的,大幅提升產生洞察分析的能力,可支援的應用案例,包括:大型語言模型(LLM)、自然語言處理(NLP)、大型推薦引擎訓練、建模與模擬、數位雙生與製造;XE8640可提供卓越效能,能以此驅動人工智慧、高效能運算,以及資料分析的工作負載,可支援的應用案例,包括:採用中型規模資料集的語言模型、自然語言處理、建模與模擬、人工智慧、機器學習或深度學習的訓練與推論、影像辨識。
以硬體規格來比較,兩款GPU伺服器最顯著的差異,在於機箱尺寸與GPU數量。XE9680採用6U尺寸機箱,搭配8個SXM外形的Nvidia H100或A100,XE8640採用4U尺寸機箱,搭配4個SXM外形的Nvidia H100。而在處理器與記憶體的部分,兩款機型均可搭配2顆英特爾第四代Xeon Scalable處理器(最高可搭配熱設計功耗350瓦、56核心的款式),以及32支DDR5-4800記憶體。
硬碟儲存方面,兩款機型均內建PERC 12系列RAID卡,XE9680可搭配8臺2.5吋SAS或SATA或NVMe固態硬碟,或是16臺E3.S外形NVMe固態硬碟,XE8640可搭配8臺2.5吋SAS或SATA或NVMe固態硬碟,或是8臺E3.S外形NVMe固態硬碟。
關於電源供應器的配置,受到機箱尺寸大小,以及搭配H100這款700瓦高功耗GPU數量的影響,XE9680採用6臺2800瓦規格的元件,Xe8640採用4臺2800瓦規格的元件。
值得注意的是,XE9680採用標準HGX H100 8-GPU基板設計,GPU覆蓋的散熱座高度可能有3U,XE8640則是採用液冷輔助氣冷的散熱設計(Liquid Assisted Air Cooling,LAAC,又稱Close Liquid Cooling、Closed Loop Liquid Cooling/封閉式冷卻),不需搭配將水接取至機櫃以便進行排熱的設施。
根據Dell在上述開箱影片的介紹,他們卸下原本的散熱座,將水冷板(cold plate)放置在GPU上面,並設有內部泵蒲,可將導管中的液體送至背後的散熱排(radiator),
再透過設置在伺服器機箱前緣的5臺高效能金級風扇將熱氣排出,
因此,能在氣冷設計的機箱維持攝氏35度的環境運作溫度。在此同時,這些水冷板也設置了感測器,若發生問題會發出警示,通知伺服器的Dell整合式遠端存取控制器(iDRAC)。
就目前已上市的GPU伺服器來看,搭配4臺SXM外形H100的產品並不多見,我們只看到Supermicro推出同為4U尺寸的SYS-421GU-TNXR,以及另一款5U尺寸的SYS-521GU-TNXR,前者已列入Nvidia管理的Qualified System Catalog型錄。相較之下,基於HGX A100 4-GPU而成的伺服器選擇較多,至少有12家廠牌、28款機型,Dell在2021年3月推出的PowerEdge XE8545就是其中之一。
關於XE8640的運算效能展現,恰巧6月底適逢開放工程聯盟MLCommons公布AI訓練效能測試結果Training v3.0,Dell提交將近30款伺服器組態,其中也包含XE8545、XE8640、XE9680。其中,上市時間最久的XE8545,Dell提交的組態相當多元,有1、2、4、8、16、32臺之分,搭配的A100有40GB或80GB記憶體之分(8臺以上僅提交A100 40 GB);今年稍早推出的XE9680有單臺與兩臺的組態,由於它可搭配A100或H100,因此總共提交4種組態。
XE8640就只有提交單臺的測試結果,相較同為單臺組態搭配4個A100的XE8545,可看出搭配4個H100的XE8640運算時間縮短一半以上,並且略優於搭配8個A100的XE9680。若是比起搭配8個H100的XE9680,搭配4個H100的XE8640運算時間約多出一倍。
產品資訊
Dell PowerEdge XE8640
●原廠:Dell
●建議售價:廠商未提供
●機箱尺寸:4U
●處理器:2顆,第四代Xeon Scalable系列(最高搭配56核心機型)
●記憶體:32個DDR5-4800插槽,最大可擴充至4 TB
●儲存配置:8臺2.5吋NVMe/SAS/SATA或E3.S NVMe固態硬碟+2臺M.2 NVMe固態硬碟
●搭配GPU:Nvidia HGX H100 4-GPU,4個SXM5形式、內建80GB記憶體的GPU
●I/O擴充介面:4個PCIe 5.0 x16全高半長介面卡
●電源供應器:4臺2800瓦
【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】
熱門新聞
2024-11-29
2024-11-29
2024-11-20
2024-11-29
2024-11-29