AMD於MLPerf基準測試展現全新AI領先地位

AMD很高興地發表首次MLPerf基準測試之結果，並在更新的MLCommons網站上展示搭載AMD Instinct™ MI300X GPU進行測試的結果。

MLPerf有多種基準測試類型，包括MLPerf Inference: Datacenter、MLPerf Training以及於2024年推出的尖端大型生成式人工智慧（AI）語言模型Llama 2 70B。AMD選擇了受歡迎且具有重要意義的大型語言模型（LLM）Llama 2 70B進行首次MLPerf基準測試。

AMD在MLPerf Inference v4.1（MLPerf 4.1推論）中為Llama 2 70B提出3項成果並展示出：

• 市場上最適合用於AI任務的AMD CPU和GPU組合。

• MI300X擁有192GB的大容量記憶體，讓單一MI300X GPU可執行整個Llama 2 70B模型，而大多數競爭對手的GPU則需要將該模型拆分至多個加速器上執行。

• AMD新一代CPU如何提升AI任務的效能。

在MLPerf 4.1推論中，AMD的結果展現出搭載ROCm的MI300X為Llama 2 70B等大型LLM提供卓越的推論效能，且與其他業界領先者如Nvidia H100在Llama 2 70B LLM模型上的測試結果不分軒輊。

欲了解更多相關資訊，請參閱AMD部落格文章。