AWS推出新的DL1執行個體dl1.24xlarge,該執行個體使用由Habana Labs所開發的Gaudi加速器,適合用於深度學習應用。
每個DL1執行個體搭載8個Gaudi加速器,總共擁有256 GB高頻寬加速器記憶體,支援遠端直接記憶體存取(RDMA)技術,能夠與加速器高速通訊。dl1.24xlarge執行個體擁有768 GB的系統記憶體,足夠在記憶體中留存非常大的訓練資料集,符合使用者的需求。
本地儲存則有高達4 TB的本地端NVMe存儲,使用英特爾Cascade Lake處理器具有96個vCPU,並且提供400 Gbps的網路吞吐量,官方提到,在DL1執行個體上,他們盡可能在各方面提高規格,目的是要提供一個功能強大的機器學習訓練平臺,性價比高出當前GPU執行個體40%。
由於Gaudi加速器是針對機器學習訓練所設計,因此支援一些特定的運算功能,像是能夠處理BF16和FP32浮點數,以及有符號整數INT8、INT16和INT32,還有無符號整數UINT8、UINT16和UINT32格式的資料。還提供通用矩陣乘法引擎(GEMM),加速矩陣乘法運算。
Gaudi加速器的張量處理核心(TPC),則是特別針對機器學習訓練設計的專用超長指令字(VLIW SIMD)處理單元,雖然大多數用戶可以使用更高階的工具和框架,但是TPC好處是可用C語言程式開發。
開發者可以使用TPC程式開發工具,來編寫、模擬和儲存直接在TPC上運作的程式碼,也可以使用Habana通訊函式庫,建置跨多個加速器的應用程式。目前DL1執行個體已經在美東北維吉尼亞和美西奧勒岡地區推出。
熱門新聞
2024-12-08
2024-12-08
2024-11-29
2024-12-08