Dell新款GPU伺服器登場，搭配4個SXM外形Nvidia H100

在2022年11月舉行的SC22大會期間，Dell基於同年發表的資料中心GPU產品，推出3款專供高效能運算領域的伺服器，其中裝載8個Nvidia H100 GPU的2路6U機型XE9680，終於在今年3月底正式出貨，最近我們到該公司網站查詢是否有新款GPU伺服器上市，赫然發現已悄悄列出另一款裝載4個Nvidia H100 GPU的2路4U機型XE8640，而且釋出規格表、技術指南等產品文件（上面載明的發布時間是今年3月），Dell Technologies的YouTube頻道在5月底，也特別發布一支XE8640的開箱展示影片。不過，在Dell為PowerEdge XE伺服器設立的專屬網頁，截至目前為止，仍將XE8640標示為「即將推出」。

就產品定位而言，稍早推出的XE9680，專為AI加速最佳效能、提供最快實現價值速度所設計的，大幅提升產生洞察分析的能力，可支援的應用案例，包括：大型語言模型（LLM）、自然語言處理（NLP）、大型推薦引擎訓練、建模與模擬、數位雙生與製造；XE8640可提供卓越效能，能以此驅動人工智慧、高效能運算，以及資料分析的工作負載，可支援的應用案例，包括：採用中型規模資料集的語言模型、自然語言處理、建模與模擬、人工智慧、機器學習或深度學習的訓練與推論、影像辨識。

以硬體規格來比較，兩款GPU伺服器最顯著的差異，在於機箱尺寸與GPU數量。XE9680採用6U尺寸機箱，搭配8個SXM外形的Nvidia H100或A100，XE8640採用4U尺寸機箱，搭配4個SXM外形的Nvidia H100。而在處理器與記憶體的部分，兩款機型均可搭配2顆英特爾第四代Xeon Scalable處理器（最高可搭配熱設計功耗350瓦、56核心的款式），以及32支DDR5-4800記憶體。

硬碟儲存方面，兩款機型均內建PERC 12系列RAID卡，XE9680可搭配8臺2.5吋SAS或SATA或NVMe固態硬碟，或是16臺E3.S外形NVMe固態硬碟，XE8640可搭配8臺2.5吋SAS或SATA或NVMe固態硬碟，或是8臺E3.S外形NVMe固態硬碟。

關於電源供應器的配置，受到機箱尺寸大小，以及搭配H100這款700瓦高功耗GPU數量的影響，XE9680採用6臺2800瓦規格的元件，Xe8640採用4臺2800瓦規格的元件。

值得注意的是，XE9680採用標準HGX H100 8-GPU基板設計，GPU覆蓋的散熱座高度可能有3U，XE8640則是採用液冷輔助氣冷的散熱設計（Liquid Assisted Air Cooling，LAAC，又稱Close Liquid Cooling、Closed Loop Liquid Cooling／封閉式冷卻），不需搭配將水接取至機櫃以便進行排熱的設施。

根據Dell在上述開箱影片的介紹，他們卸下原本的散熱座，將水冷板（cold plate）放置在GPU上面，並設有內部泵蒲，可將導管中的液體送至背後的散熱排（radiator），

再透過設置在伺服器機箱前緣的5臺高效能金級風扇將熱氣排出，

因此，能在氣冷設計的機箱維持攝氏35度的環境運作溫度。在此同時，這些水冷板也設置了感測器，若發生問題會發出警示，通知伺服器的Dell整合式遠端存取控制器（iDRAC）。

就目前已上市的GPU伺服器來看，搭配4臺SXM外形H100的產品並不多見，我們只看到Supermicro推出同為4U尺寸的SYS-421GU-TNXR，以及另一款5U尺寸的SYS-521GU-TNXR，前者已列入Nvidia管理的Qualified System Catalog型錄。相較之下，基於HGX A100 4-GPU而成的伺服器選擇較多，至少有12家廠牌、28款機型，Dell在2021年3月推出的PowerEdge XE8545就是其中之一。

關於XE8640的運算效能展現，恰巧6月底適逢開放工程聯盟MLCommons公布AI訓練效能測試結果Training v3.0，Dell提交將近30款伺服器組態，其中也包含XE8545、XE8640、XE9680。其中，上市時間最久的XE8545，Dell提交的組態相當多元，有1、2、4、8、16、32臺之分，搭配的A100有40GB或80GB記憶體之分（8臺以上僅提交A100 40 GB）；今年稍早推出的XE9680有單臺與兩臺的組態，由於它可搭配A100或H100，因此總共提交4種組態。

XE8640就只有提交單臺的測試結果，相較同為單臺組態搭配4個A100的XE8545，可看出搭配4個H100的XE8640運算時間縮短一半以上，並且略優於搭配8個A100的XE9680。若是比起搭配8個H100的XE9680，搭配4個H100的XE8640運算時間約多出一倍。

產品資訊

Dell PowerEdge XE8640
●原廠：Dell
●建議售價：廠商未提供
●機箱尺寸：4U
●處理器：2顆，第四代Xeon Scalable系列（最高搭配56核心機型）
●記憶體：32個DDR5-4800插槽，最大可擴充至4 TB
●儲存配置：8臺2.5吋NVMe/SAS/SATA或E3.S NVMe固態硬碟+2臺M.2 NVMe固態硬碟
●搭配GPU：Nvidia HGX H100 4-GPU，4個SXM5形式、內建80GB記憶體的GPU
●I/O擴充介面：4個PCIe 5.0 x16全高半長介面卡
●電源供應器：4臺2800瓦

【註：規格與價格由廠商提供，因時有異動，正確資訊請洽廠商】