AMD Instinct MI325X加速器提供領先業界的AI效能

AMD（NASDAQ: AMD）宣布推出AMD Instinct™ MI325X加速器、AMD Pensando™ Pollara 400 NIC以及AMD Pensando Salina DPU等最新加速器和網路解決方案，將為新一代人工智慧（AI）基礎設施提供大規模支援。AMD Instinct MI325X加速器為生成式AI模型及資料中心設立全新效能標準。

AMD Instinct MI325X加速器基於AMD CDNA™ 3架構，旨在為基礎模型訓練、微調和推論等要求嚴苛的AI任務提供卓越的效能和效率。全新產品將協助AMD客戶和合作夥伴在系統、機架和資料中心層級打造高效能和最佳化的AI解決方案。

AMD執行副總裁暨資料中心解決方案事業群總經理Forrest Norrod表示，AMD持續執行我們的產品藍圖，為客戶提供所需的效能和選擇，以更快的速度將AI基礎設施大規模推向市場。憑藉全新AMD Instinct加速器、EPYC處理器和AMD Pensando網路引擎、開放軟體產業體系的持續成長，以及將這一切整合至最佳化AI基礎設施中的能力，AMD展現建置和部署世界級AI解決方案的關鍵專業知識與能力。

AMD Instinct MI325X擴展AI效能的領先優勢

AMD Instinct MI325X加速器提供領先業界的記憶體容量及頻寬，包括256GB HBM3E記憶體容量支援6.0TB/s，提供比H200高1.8倍的容量和1.3倍的頻寬^註1，以及1.3倍的FP16理論峰值和FP8運算效能^註1。

AMD Instinct MI325X加速器的記憶體和運算能力可較H200提供高達1.3倍的Mistral 7B FP16推論效能^註2、1.2倍的Llama 3.1 70B FP8推論效能^註3，以及1.4倍的Mixtral 8x7B FP16推論效能^註4。

AMD Instinct MI325X加速器目前如期在2024年第4季量產出貨，預計將於2025年第1季起，由戴爾科技集團、Eviden、技嘉、HPE、聯想、美超微（Supermicro）等平台供應商廣泛提供。

AMD持續履行年度產品藍圖的節奏，預覽了下一代AMD Instinct MI350系列加速器。相對於AMD CDNA 3架構的加速器，基於AMD CDNA 4架構的AMD Instinct MI350系列加速器將帶來35倍推論效能提升^註5。

AMD Instinct MI350系列將持續鞏固記憶體容量的領先地位，每加速器容量高達288GB HBM3E記憶體，將如期於2025年下半年推出。

AMD新一代AI網路解決方案

AMD正在運用超大規模供應商（hyperscalers）部署最廣泛的可程式化DPU來為新一代AI網路提供動能。AI網路分為兩部分：前端（向AI叢集提供資料和資訊）和後端（管理加速器和叢集之間的資料傳輸），對於確保CPU和加速器在AI基礎設施中高效利用至關重要。

為了有效管理這兩個網路並推動整個系統的高效能、可擴展性和效率，AMD推出用於前端的AMD Pensando™ Salina DPU和用於後端、業界首款UEC就緒的AMD Pensando™ Pollara 400 AI NIC。

AMD Pensando Salina DPU是全球效能最強大可程式化DPU的第3代產品，與前一代DPU相比，效能、頻寬和規模提升高達2倍。AMD Pensando Salina DPU支援400G吞吐量以實現快速資料傳輸速率，是AI前端網路叢集的關鍵元件，為資料驅動的AI應用帶來最佳化的效能、效率、安全性和可擴展性。

UEC就緒的AMD Pensando Pollara 400由AMD P4可程式化引擎提供動能，是業界首款UEC就緒的AI NIC，支援新一代RDMA軟體，並由開放的網路產業體系提供支援。AMD Pensando Pollara 400對於在後端網路中提供領先的效能、可擴展性和加速器間通訊的效率至關重要。

AMD Pensando Salina DPU和AMD Pensando Pollara 400於2024年第4季送樣，並將如期在2025年上半年推出。

AMD AI軟體為生成式AI提供全新功能

AMD持續推進軟體功能和開放產業體系的發展，在AMD ROCm™開放軟體堆疊中提供強大的全新特性和功能。

在開放軟體社群中，AMD正推動PyTorch、Triton、Hugging Face等最為廣泛採用的AI框架、函式庫和模型對AMD運算引擎的支援。這項工作為AMD Instinct加速器提供了即時效能與支援，適用於Stable Diffusion 3、Meta Llama 3、3.1和3.2等熱門的生成式AI模型，以及Hugging Face超過100萬個模型。

除了社群之外，AMD持續推進其ROCm開放軟體堆疊，帶來支援生成式AI工作負載訓練和推論的最新功能。ROCm 6.2現在對FP8資料類型、Flash Attention 3、Kernel Fusion等關鍵AI功能提供支援。憑藉這些新增功能，ROCm 6.2較ROCm 6.0提供高達2.4倍的推論效能提升^註6以及1.8倍的大型語言模型（LLM）訓練效能提升^註7。

相關資源

• 觀看AMD Advancing AI主題演講

• 更多關於：AMD新一代AI網路解決方案

• 更多關於：AMD Instinct加速器

• X：於@AMD追蹤AMD新訊

• LinkedIn：於AMD LinkedIn追蹤AMD新訊

關於AMD

50多年來，AMD（NASDAQ：AMD）推動創新高效能運算、繪圖及視覺技術。全球數十億的消費者、世界500強企業以及尖端科學研究機構皆仰賴AMD的技術來改善生活、工作及娛樂。AMD員工致力於研發領先的高效能與自行調適產品，不斷突破技術的極限。欲瞭解AMD如何成就今天，啟發未來，請瀏覽AMD網站、部落格、LinkedIn及X。