搶攻資料中心GPU市場,AMD去年底發表新一代產品Instinct MI300X,當時有多家伺服器廠商響應,宣布推出搭載這款加速運算平臺的機型,技嘉G593-ZX1-AAX1就是一例,今年6月我們曾介紹。
接下來,該追蹤哪一款AMD Instinct MI300X伺服器?在上個月底,適逢MLCommons發表新版AI推論效能測試結果MLPerf Inference v4.1,終於首次揭露搭配這款GPU的伺服器效能表現紀錄,總共有4筆,而當中提交最多資料的機型,正是美超微(Supermicro)在去年底推出的8125GS-TNMR2(3筆)。
這款產品是延伸該公司的8U Universal GPU Systems的設計而來,而且是標榜AMD Instinct MI300X加速器的採用,單臺伺服器搭配集結8個GPU、外形遵循OAM與UBB等開放運算計畫標準的基板,總共內建2,432個運算單元(304個 x 8)、9,728個矩陣核心(1216個x 8)、155,648個串流處理器(19,456個x 8),以及1.5 TB的HBM3高頻寬記憶體(192 GB x 8),GPU之間的I/O透過AMD Infinity Fabric Link進行,匯聚而成的總頻寬可達到896 GB/s(128 GB/s x 7),而在連外網路頻寬的部分,每個GPU可支援8個PCIe 5.0 x16(每個I/O介面頻寬為128 GB/s),可針對大規模AI訓練應用系統建置需求,提供以機櫃為部署單位的AI基礎架構。
關於硬體規格方面,8125GS-TNMR2採用兩顆AMD EPYC 9004系列處理器,最多可搭配內建128顆核心的款式,因此整臺伺服器能提供256顆CPU核心,而在網路介面配置上,它預設可安裝8個短版介面卡,以及2個全高全長介面卡,因此能安裝8張網路卡,提供1比1的GPU與網路對應配置,在AI訓練時,因應多臺伺服器連接的需求,減少網路傳輸流量瓶頸。
根據Supermicro的規畫,單座機櫃可置入4臺8125GS-TNMR2,如此一來,最多能運用的AI運算資源規模,可望超過1千顆CPU核心(256 x 4)、24 TB容量 DDR5-4800記憶體(6 TB x 4)、6 TB容量GPU記憶體(1.5 TB x 4)。
若就今年8月底最新公布的MLPerf Inference v4.1效能測試結果來看,Supermicro 推出的8125GS-TNMR2,儼然成為代表AMD Instinct MI300X伺服器出戰的代表。
在Llama2-70B的AI推論測試當中,同為搭配8個Nvidia H100的Nvidia DGX H100,對上搭配8個AMD Instinct MI300X的Supermicro 8125GS-TNMR2,彼此所差無幾,其中有一筆記錄是Supermicro搭配AMD第五代伺服器處理器(代號Turin),而稍稍勝出Nvidia DGX H100。
不過,若是對上GPU記憶體容量加大至141 GB的Nvidia H200 8-GPU伺服器,包含Supermicro 8125GS-TNMR2、Dell XE9680在內的AMD Instinct MI300X 8-GPU伺服器,Llama2-70b的AI推論效能還有不少追趕的空間。
值得注意的是,MLPerf Inference v4.1也列出多款AI伺服器單個GPU配置的效能測試數據,不僅涵蓋AMD Instinct MI300X,也提到Nvidia的H200、融合CPU與GPU架構的GH200,以及導入下一代GPU架構的Blackwell的B200,Supermicro 8125GS-TNMR2作為唯一代表AMD Instinct MI300X的產品,相較於Nvidia提交的H200伺服器,以及HPE的Nvidia GH200伺服器,仍差了一截,若對比於Nvidia提交的B200伺服器,差距更大,落後幅度可達到3倍,或許要等到AMD後續推出下一代資料中心GPU產品,才能與其一較高下。
針對單個GPU與8個GPU組態的效能比較,透過MLPerf Inference v4.1揭露的效能,也突顯連線與離線狀態下的效能,均維持在等比擴展的程度。
產品資訊
Supermicro 8125GS-TNMR2
●原廠:Supermicro
●建議售價:廠商未提供
●機箱尺寸:8U
●處理器:2顆,AMD EPYC 9004系列(最高搭配400瓦熱設計功耗款式)
●記憶體:24個DDR5-4800插槽,最大6 TB
●儲存配置:18臺2.5吋硬碟(16臺NVMe+2臺SATA)
●搭配GPU:8個AMD Instinct MI300X
●I/O擴充介面:12個PCIe 5.0 x16介面卡(8個短版、4個全高半長)
●電源供應器:6臺3000瓦,可額外選購2臺3000瓦
【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】
熱門新聞
2024-10-05
2024-10-07
2024-10-07
2024-10-07
2024-10-07
2024-10-07
2024-10-07