AWS推出搭載機器學習訓練Gaudi加速器的EC2執行個體DL1

AWS推出新的DL1執行個體dl1.24xlarge，該執行個體使用由Habana Labs所開發的Gaudi加速器，適合用於深度學習應用。

每個DL1執行個體搭載8個Gaudi加速器，總共擁有256 GB高頻寬加速器記憶體，支援遠端直接記憶體存取（RDMA）技術，能夠與加速器高速通訊。dl1.24xlarge執行個體擁有768 GB的系統記憶體，足夠在記憶體中留存非常大的訓練資料集，符合使用者的需求。

本地儲存則有高達4 TB的本地端NVMe存儲，使用英特爾Cascade Lake處理器具有96個vCPU，並且提供400 Gbps的網路吞吐量，官方提到，在DL1執行個體上，他們盡可能在各方面提高規格，目的是要提供一個功能強大的機器學習訓練平臺，性價比高出當前GPU執行個體40％。

由於Gaudi加速器是針對機器學習訓練所設計，因此支援一些特定的運算功能，像是能夠處理BF16和FP32浮點數，以及有符號整數INT8、INT16和INT32，還有無符號整數UINT8、UINT16和UINT32格式的資料。還提供通用矩陣乘法引擎（GEMM），加速矩陣乘法運算。

Gaudi加速器的張量處理核心（TPC），則是特別針對機器學習訓練設計的專用超長指令字（VLIW SIMD）處理單元，雖然大多數用戶可以使用更高階的工具和框架，但是TPC好處是可用C語言程式開發。

開發者可以使用TPC程式開發工具，來編寫、模擬和儲存直接在TPC上運作的程式碼，也可以使用Habana通訊函式庫，建置跨多個加速器的應用程式。目前DL1執行個體已經在美東北維吉尼亞和美西奧勒岡地區推出。