【舊金山AMD發表會直擊】AMD發表AI加速器Instinct MI300X，挾更大記憶體、更高記憶體頻寬瞄準生成式AI加速運算需求

AMD在舊金山全球發表會，除了發表雲端原生及科學運算的第四代EPYC處理器，也對外正式發表Instinct MI300系列AI加速器，準備結合硬體與開源軟體，建立AI生態系，搶攻全球超過1500億美元資料中心AI加速運算商機。

AMD執行長蘇姿丰直指AMD在AI的3大策略，第一是旗下的高效能CPU、GPU產品，從資料中心、邊緣運算到智慧終端裝置具備AI訓練或推論的能力，第二是結合開源、經驗證的軟體平臺，讓硬體更容易被部署及使用，第三是和AI產業的夥伴的合作及共同創新，來深化生態系。

蘇姿丰表示，過去幾個月，生成式AI將資料中心的AI運算帶到新的層次，許多人經常問她商機在哪，她認為全球資料中心AI加速運算規模還只是開始，市場商機仍在成長之中，她相信資料中心的AI加速運算總規模，將從現在300億美元，成長到2027年超過1500億美元。

AMD也在現場正式發表Instinct MI300系列AI加速器，分為MI300A與MI300X，其中MI300A為資料中心首款APU，內含1400億個電晶體，專為AI及HPC加速運算所設計，採用5或6奈米製程及CDNA 3架構，採用支援第4代Infinity架構的3D封裝技術，內建24個Zen 4 CPU核心，混合GPU核心，支援128GB HBM3記憶體。相較於先前的Instinct 250有8倍的效能提升，5倍的能源效率提升。MI300A已開始送樣。

另一款MI300X主要鎖定生成式AI應用，擁有1530億電晶體，採用CDNA3架構，不同於MI300A混合CPU及GPU，MI300X為純GPU，可支援最高192GB HBM3記憶體，每秒達到5.2TB的記憶體頻寬，搭配AMD Infinity fabric，每秒頻寬可達到896GB的記憶體頻寬，更大的記憶體容量、更高的記憶體頻寬，使得MI300X得以支援大型語言模型，蘇姿丰在現場展示以400億參數的Falcon-40B安裝在MI300X，要求生成式AI作一首關於舊金山這座城市的詩。「這是第一次LLM可以在單一GPU的記憶體執行」，蘇姿丰表示，MI300X最多可支援800億個參數的LLM。

蘇姿丰強調，AMD MI300X在HBM密度上，為Nvidia H100的1.4倍，HBM記憶體頻寬則為H100的1.6倍，更大容量的記憶體、更高的記憶體頻寬，意謂執行LLM推論需要更少的GPU，降低生成式AI加速的TCO成本。透過AMD Infinity連接8個MI300X組成Instinct平臺，支援1.5TB的HBM 3記憶體，打造更大的生成式AI訓練及推論環境。AMD MI300X預計在第3季送樣。

以各種AI軟體平臺建立合作生態

如同前面所說，AMD的AI大戰略是在各種硬體上提供AI運算功能，橫跨資料中心CPU到GPU，到邊緣運算、智慧終端裝置的CPU與GPU，但是要發揮這些硬體的功能，還需要提供各種軟體堆疊平臺，目前已針對不同運算硬體提供AI軟體平臺，針對EPYC處理器的ZenDNN，Instinct GPU的ROCm，對邊緣及終端運算裝置則有Vitis AI。

以搭配Instinct的ROCm為例，為通過驗證的軟體堆疊，包括函式庫、編譯器、Runtime，目前ROCm已推出第5代，支援AI模型、框架，例如Pytorch、TensorFlow、ONNX等，其中PytorchAMD和Meta底下Pytorch團隊合作，Pytorch 2.0從Day 0就支援ROCm 5，針對AMD資料中心GPU的AI平臺優化，積極拉攏Pytorch開發社群。

AMD也和AI模型開發商合作，例如專門開發各種AI模型的Hugging Face合作，優化AI模型的執行。