AWS現在更新EC2的G系列實例,新推出採用Nvidia T4 Tensor Core GPU的6個規格G4實例,以及裸機實例,這些實例是專為機器學習的訓練和推理、影片轉碼、遊戲串流以及遠端繪圖工作站應用程式設計,G4目前已經可在全球9個AWS地區開始使用。

G4實例最多能夠配置4個Nvidia T4 Tensor Core GPU,每個GPU具有320個Turing Tensor核心、2,560個CUDA核心和16 GB記憶體。T4 GPU除了可以處理機器學習推理、電腦視覺、影片處理和即時自然語言處理外,而且因為擁有RT核心,所以可高效率的進行硬體加速光線追蹤,使用者可以從AWS市集中下載Nvidia Quadro虛擬工作站,執行即時光線追蹤渲染,加快多媒體娛樂和建築等領域的應用。

G4實例使用由AWS訂製的第二代英特爾Xeon可擴展處理器,提供最多64個vCPU,並且建構於AWS Nitro系統之上,Nitro本地端NVMe儲存建構區塊提供最高達1.8TB容量,而Nitro網路建構模塊則支援高速ENA網路。官方提到,英特爾AVX512深度學習增強功能,透過增加一組新的向量神經網路指令(VNNI)擴充了AVX-512,而這些指令加速了推理演算法中,內部迴圈低精度的乘法與加法運算。

最新的AWS Deep Learning AMI(Amazon Machine Image)也已經支援G4實例,官方將g3.16xlarge實例與g4dn.12xlarge實例進行了基準測試,比較兩實例使用可擴展深度學習框架MxNet進行推理和訓練工作負載的速度,G4速度快了約2倍,而機器學習函式庫Tensorflow推理和訓練的速度,也快了2倍。基準測試使用FP32數值精度進行運算,官方提到,如果用戶使用混合精度FP16以及低精度INT8,則會獲得更多的效能加速。

目前G4可以於美東、美西、歐洲和亞太等9個區域使用,AWS提到,他們也將在Amazon SageMaker和Amazon EKS叢集中提供G4。


Advertisement

更多 iThome相關內容