美超微展現AMD MI300X平臺AI推論能耐，打平Nvidia H100

搶攻資料中心GPU市場，AMD去年底發表新一代產品Instinct MI300X，當時有多家伺服器廠商響應，宣布推出搭載這款加速運算平臺的機型，技嘉G593-ZX1-AAX1就是一例，今年6月我們曾介紹。

接下來，該追蹤哪一款AMD Instinct MI300X伺服器？在上個月底，適逢MLCommons發表新版AI推論效能測試結果MLPerf Inference v4.1，終於首次揭露搭配這款GPU的伺服器效能表現紀錄，總共有4筆，而當中提交最多資料的機型，正是美超微（Supermicro）在去年底推出的8125GS-TNMR2（3筆）。

這款產品是延伸該公司的8U Universal GPU Systems的設計而來，而且是標榜AMD Instinct MI300X加速器的採用，單臺伺服器搭配集結8個GPU、外形遵循OAM與UBB等開放運算計畫標準的基板，總共內建2,432個運算單元（304個 x 8）、9,728個矩陣核心（1216個x 8）、155,648個串流處理器（19,456個x 8），以及1.5 TB的HBM3高頻寬記憶體（192 GB x 8），GPU之間的I/O透過AMD Infinity Fabric Link進行，匯聚而成的總頻寬可達到896 GB/s（128 GB/s x 7），而在連外網路頻寬的部分，每個GPU可支援8個PCIe 5.0 x16（每個I/O介面頻寬為128 GB/s），可針對大規模AI訓練應用系統建置需求，提供以機櫃為部署單位的AI基礎架構。

關於硬體規格方面，8125GS-TNMR2採用兩顆AMD EPYC 9004系列處理器，最多可搭配內建128顆核心的款式，因此整臺伺服器能提供256顆CPU核心，而在網路介面配置上，它預設可安裝8個短版介面卡，以及2個全高全長介面卡，因此能安裝8張網路卡，提供1比1的GPU與網路對應配置，在AI訓練時，因應多臺伺服器連接的需求，減少網路傳輸流量瓶頸。

根據Supermicro的規畫，單座機櫃可置入4臺8125GS-TNMR2，如此一來，最多能運用的AI運算資源規模，可望超過1千顆CPU核心（256 x 4）、24 TB容量 DDR5-4800記憶體（6 TB x 4）、6 TB容量GPU記憶體（1.5 TB x 4）。

若就今年8月底最新公布的MLPerf Inference v4.1效能測試結果來看，Supermicro 推出的8125GS-TNMR2，儼然成為代表AMD Instinct MI300X伺服器出戰的代表。

在Llama2-70B的AI推論測試當中，同為搭配8個Nvidia H100的Nvidia DGX H100，對上搭配8個AMD Instinct MI300X的Supermicro 8125GS-TNMR2，彼此所差無幾，其中有一筆記錄是Supermicro搭配AMD第五代伺服器處理器（代號Turin），而稍稍勝出Nvidia DGX H100。

不過，若是對上GPU記憶體容量加大至141 GB的Nvidia H200 8-GPU伺服器，包含Supermicro 8125GS-TNMR2、Dell XE9680在內的AMD Instinct MI300X 8-GPU伺服器，Llama2-70b的AI推論效能還有不少追趕的空間。

值得注意的是，MLPerf Inference v4.1也列出多款AI伺服器單個GPU配置的效能測試數據，不僅涵蓋AMD Instinct MI300X，也提到Nvidia的H200、融合CPU與GPU架構的GH200，以及導入下一代GPU架構的Blackwell的B200，Supermicro 8125GS-TNMR2作為唯一代表AMD Instinct MI300X的產品，相較於Nvidia提交的H200伺服器，以及HPE的Nvidia GH200伺服器，仍差了一截，若對比於Nvidia提交的B200伺服器，差距更大，落後幅度可達到3倍，或許要等到AMD後續推出下一代資料中心GPU產品，才能與其一較高下。

針對單個GPU與8個GPU組態的效能比較，透過MLPerf Inference v4.1揭露的效能，也突顯連線與離線狀態下的效能，均維持在等比擴展的程度。

產品資訊

Supermicro 8125GS-TNMR2
●原廠：Supermicro
●建議售價：廠商未提供
●機箱尺寸：8U
●處理器：2顆，AMD EPYC 9004系列（最高搭配400瓦熱設計功耗款式）
●記憶體：24個DDR5-4800插槽，最大6 TB
●儲存配置：18臺2.5吋硬碟（16臺NVMe+2臺SATA）
●搭配GPU：8個AMD Instinct MI300X
●I/O擴充介面：12個PCIe 5.0 x16介面卡（8個短版、4個全高半長）
●電源供應器：6臺3000瓦，可額外選購2臺3000瓦

【註：規格與價格由廠商提供，因時有異動，正確資訊請洽廠商】