英特爾推2代AI訓練加速器，搭更多張量處理器核心與HBM

為了因應熱門的人工智慧應用需求，英特爾持續強化新一代個人電腦與伺服器處理器性能之餘，也透過併購其他公司與自行發展加速運算產品等方式，積極搶攻這塊市場大餅，而在深度學習訓練與推論方面，他們在2019年底買下新創公司Habana Labs，隨後開始主推AI訓練加速晶片Gaudi系列，以及AI推論加速晶片Goya，在2021年底，我們也介紹搭配Gaudi HL-205晶片的伺服器機型：Supermicro SYS-420GH-TNGR。

到了2022年5月舉行的Vision用戶大會，英特爾發表Habana第二代產品，導入7奈米製程，其中的AI訓練加速晶片Gaudi2，將於2022年下半將與Supermicro搭配，推出新款AI訓練伺服器，另一個則是新的AI推論加速晶片Greco，預計2022年下半提供樣品，2023年第一季進入量產階段。

關於率先在這次活動亮相的Gaudi2，英特爾強調，在電腦視覺模型ResNet-50與自然語言處理模型BERT的應用上，這款產品的AI訓練吞吐量，可達到Nvidia A100 80GB記憶體版本的兩倍；若以上一代Gaudi為比較基準，Gaudi2可分別提供3倍與4.7倍的AI訓練吞吐量。

相較於搭配上一代Gaudi產品的AWS執行個體服務Amazon EC2 DL1，以及Supermicro訓練伺服器，採用Gaudi2的系統可獲得更佳的性價比，領先幅度可達40％。

之所以有這樣的差距，英特爾列出幾個Gaudi2的特色。首先是製程從16奈米躍進到7奈米，而能在運算、記憶體、網路等層面取得突破。以運算架構的組成方式而言，Gaudi2搭配24個張量處理器核心（上一代Gaudi是8個），可專為大型深度學習工作負載所設計；在張量處理器核心與矩陣乘法引擎中，也支援FP8等新的資料型別；新一代Gaudi也整合了多媒體處理引擎，可加速處理預先壓縮的多媒體資訊，將相關工作卸載到這裡執行。

在記憶體容量的部分，Gaudi2將晶片封裝的高頻寬記憶體容量擴充至96 GB（Gaudi HL-205是32 GB），整合的SRAM記憶體容量也增加至48 MB（Gaudi HL-205是24 MB），記憶體頻寬提升至2.45 TB/s（Gaudi HL-205是1 TB/s）。而其內建的網路介面，則是24個100GbE（Gaudi HL-205是10個100 GbE）。

產品外形結構上，我們從Habana Labs網站公布的產品特色影片，可看到Gaudi2加速器模組的中央是HL-2080晶片（上一代Gaudi是HL-2000），

而在伺服器的搭配上，提供兩種款式：一種是遵循開放運算計畫（OCP）訂定的OAM 1.1標準的夾層卡，型號為HL-225H；另一種是將8張Gaudi2夾層卡結合在印刷電路板，可支援多對多互連組態的基板，稱為HLBA-225，當中可運用每張Gaudi2的21個網路介面（其餘3個用於連接其他Gaudi2），而以整張基板而言，能透過24個網路介面（8張Gaudi2各自的3個網路介面）連至基板內建的6個QSFP-DD接頭的網路埠，以便後續橫向擴張伺服器的規模。

關於可安裝這款加速器使用的伺服器設備，Supermicro於2022年5月宣布，搭配Gaudi2的伺服器機型名稱是SYS-820GH-TNRS，當中採用8U尺寸機箱，搭配兩顆英特爾第三代Xeon Scalable系處理器，記憶體容量最大為8 TB，多顆Gaudi2晶片之間的I/O存取速度為700 GB/s，多臺Gaudi2伺服器之間的I/O存取速度，可達到2.4 TB/s，而在網路埠的部分，這款伺服器內建6個QSFP-DD埠，有助於以橫向擴展方式來處理較大AI模型與資料集。

同年10月，在OCP年度全球高峰會召開之際，出現更多廠商推出搭配Gaudi2加速晶片的伺服器。像是：緯穎展出新款伺服器機型SV600G2，採用6U機箱，搭配8張HL-225H，在該公司公布的白皮書列出細部規格；Supermicro提供的Gaudi2 AI Training Server，機型名稱定為SYS-820GH-TNR2，在該公司網頁列出細部規格；浪潮於9月底英特爾舉行的Innovation全球用戶大會期間，宣布將推出NF5688M7，同樣搭配8張OAM外形的Gaudi2，處理器預計採用2顆代號為Sapphire Rapids的英特爾第四代Xeon Scalable，而在稍後的OCP全球高峰會上，他們公開伺服器外觀與更多規格資訊。

產品資訊

Intel Habana Gaudi2
●原廠：Intel
●建議售價：廠商未提供
●產品外形與機型：OAM夾層卡HL-225H、基板HLBA-225（連接8張HL-225H）
●製程：TSMC 7奈米
●I/O介面：PCIe 4.0 x16
●核心架構：24個第四代張量處理器核心、2個矩陣乘法引擎
●記憶體：48 MB SRAM搭配96 GB HBM2e
●記憶體頻寬：2.45 TB/s
●網路介面：24個100 GbE（48個56Gb PAM4 SerDes連結）
●耗電量：可支援600瓦

【註：規格與價格由廠商提供，因時有異動，正確資訊請洽廠商】