採用XDNA架構AIE-ML引擎，AMD加速卡攻AI推論應用

今年AI加速解決方案受到市場空前的重視，AMD在1月初CES大展期間，預告將推出兩款橫跨邊緣運算至雲端服務的產品，一是許多人熱烈期待的CPU與GPU整合晶片Instinct MI300，後續在該公司6月舉行的Data Center and AI Technology Premiere發表會，以及11月中召開的SC23超級電腦大會，都釋出消息；另一個產品則是AI加速卡Alveo V70，號稱能針對多重AI推論工作負載的處理，提供領先業界的運算效能與能源使用效率。

根據AMD當時所釋出的產品簡介來看，V70是Alveo系列當中，第一款採用XDNA架構、搭配該公司AI引擎的正式產品，可提供整合的異質運算平臺，鎖定雲端與邊緣的AI應用需求，可支援卷積神經網路（CNN）、循環神經網路（RNN）、自然語言處理（NLP）等類型的加速運算。

同時，AMD也強調V70是以提供極致的能源使用效益用於AI推論處理，作為主要的設計目標，能針對影片分析與自然語言處理類型的工作負載進行調校，並支援產業標準的機器學習軟體框架，能直接編譯以TensorFlow、PyTorch訓練而成的模型。

這張加速卡配備採用7奈米製程的Versal ACAP晶片，當中整合他們設計的AI Engine核心，也搭配隨需調整引擎（Adaptable Engines），以及純量處理引擎（Scalar Engines），以及16 GB容量的DDR4記憶體。

而在產品外形上，V70是一張半長半高的PCIe介面卡，熱設計功耗僅75瓦，看齊Nvidia賣得最好的AI推論加速卡T4，並且支援被動散熱（有散熱片包覆、未內建風扇，透過伺服器機箱的風扇降溫）。

在運算效能方面，相較於Nvidia T4，V70在AI推論應用方面，領先幅度相當明顯，以智慧零售而言，可達80％，在醫療病患監督、智慧城市方面，也分別領先72％與70％。

由於本身具有較低功耗與短小外形，AMD認為，V70有助於減少每個AI運算單位的成本，並對影片分析的應用提供高密度運算配置。

值得注意的是，AMD在V70的架構規格資訊上，標示為「AMD XDNA – Versal AI Core」，而在AI引擎規格資訊上，標示為「2nd-gen AIE-ML tiles」。目前該公司隨需調整系統單晶片（Adaptive SOC）產品線Versal，提供AI Core、AI Edge、Prime、Premium、HBM這5大系列，Alveo V70所用的架構就是Versal AI Core系列。

而在AI Engine技術方面，AMD提供兩種，一是用於機器學習推論或進階數位訊號處理（DSP）的AI引擎晶磚（AI Engine Tile，AIE），另一是專用於機器學習、效能最佳化的AI引擎晶磚（AI Engine-ML Tile，AIE-ML），均可用於Versal AI Core系列與Versal AI Edge系列，Alveo V70所搭配的AI引擎是AIE-ML。

就整體配置而言，Alveo V70的賣相其實不差，與市面上其他有意接替與取代Nvidia T4的AI加速卡而言，例如我們過去報導的AMD Alveo U50、英特爾Data Center GPU Flex 140、Nvidia L4、AMD Alveo MA35D相比，也相當具有競爭力，可惜的是，搭配這張AI推論加速卡的伺服器廠牌不多，截至目前為止，僅有技嘉科技獨撐——他們在5月底台北國際電腦展與11月SC超級電腦大會期間，特別主打2U機箱搭載16張AMD Alveo V70的伺服器，機型是G293-Z43。

儘管有這樣的伺服器搭配，經過將近一年的推廣，在MLCommons的MLPerf Inference: Datacenter、MLPerf I Inference: Edge這兩項公開揭露的伺服器AI效能測試數據，至今遲遲不見AMD與技嘉科技提交搭載AMD Alveo V70伺服器的測試結果，希望未來他們能積極參與，提供相關資訊，方便整個產業了解這樣的解決方案能耐。

產品資訊

AMD Alveo V70
●原廠：AMD
●建議售價：廠商未提供
●I/O介面：PCIe 5.0 x8
●外形：半高半長PCIe介面卡
●技術平臺：AMD XDNA架構的Versal AI Core系列，採用AI Engine-ML Tile引擎
●晶片製程：7奈米
●搭配記憶體：16GB DDR4
●記憶體頻寬：內部47.6 TB/s，外部76.8 GB/s
●運算效能：INT8為404 TOPS，BF16為202 TOPS
●耗電量：75瓦

【註：規格與價格由廠商提供，因時有異動，正確資訊請洽廠商】