圖片來源: 

AMD

超微半導體(AMD)於本周四(10/10)發表了Instinct MI325X加速器,宣稱其記憶體容量與頻寬都超越Nvidia H200,在推論表現上亦優於Nvidia H200。

AMD Instinct MI325X加速器是基於AMD CDNA 3架構,專為基礎模型訓練、微調與推論等AI任務而設計,配備256GB HBM3E記憶體,提供6.0TB/s的頻寬,分別是Nvidia H200的1.8及1.3倍,FP16和FP8運算性能的峰值亦是Nvidia H200的1.3倍。

應用在FP16格式的Mistral 7B模型上,Instinct MI325X提供了1.3倍的推論性能,FP8的Llama 3.1 70B模型上,有1.2倍的推論性能,若是在FP16的Mixtral 8x7B模型上,亦有1.4倍的推論性能。

基於Hopper架構的H200是目前市場上最高階的Nvidia AI GPU,Instinct MI325X預計於今年底出貨,儘管後者晚了一年問世,但至少出現了足以與Nvidia媲美的GPU產品,而且價格可能更低廉。

AMD並未公布Instinct MI325X的售價,但說包括Dell、Eviden、技嘉、HP、聯想及超微在內的業者,都會在明年第一季採用Instinct MI325X。

為了趕上AI晶片龍頭Nvidia,AMD已規畫加快產品腳步,每年都會發表新晶片,例如明年將發表MI350,2026年則會有MI400。

熱門新聞

Advertisement