AWS推出採用Nvidia T4 GPU的EC2實例，加速AI應用及圖形運算

AWS現在更新EC2的G系列實例，新推出採用Nvidia T4 Tensor Core GPU的6個規格G4實例，以及裸機實例，這些實例是專為機器學習的訓練和推理、影片轉碼、遊戲串流以及遠端繪圖工作站應用程式設計，Ｇ4目前已經可在全球9個AWS地區開始使用。

G4實例最多能夠配置4個Nvidia T4 Tensor Core GPU，每個GPU具有320個Turing Tensor核心、2,560個CUDA核心和16 GB記憶體。T4 GPU除了可以處理機器學習推理、電腦視覺、影片處理和即時自然語言處理外，而且因為擁有RT核心，所以可高效率的進行硬體加速光線追蹤，使用者可以從AWS市集中下載Nvidia Quadro虛擬工作站，執行即時光線追蹤渲染，加快多媒體娛樂和建築等領域的應用。

G4實例使用由AWS訂製的第二代英特爾Xeon可擴展處理器，提供最多64個vCPU，並且建構於AWS Nitro系統之上，Nitro本地端NVMe儲存建構區塊提供最高達1.8TB容量，而Nitro網路建構模塊則支援高速ENA網路。官方提到，英特爾AVX512深度學習增強功能，透過增加一組新的向量神經網路指令（VNNI）擴充了AVX-512，而這些指令加速了推理演算法中，內部迴圈低精度的乘法與加法運算。

最新的AWS Deep Learning AMI（Amazon Machine Image）也已經支援G4實例，官方將g3.16xlarge實例與g4dn.12xlarge實例進行了基準測試，比較兩實例使用可擴展深度學習框架MxNet進行推理和訓練工作負載的速度，G4速度快了約2倍，而機器學習函式庫Tensorflow推理和訓練的速度，也快了2倍。基準測試使用FP32數值精度進行運算，官方提到，如果用戶使用混合精度FP16以及低精度INT8，則會獲得更多的效能加速。

目前G4可以於美東、美西、歐洲和亞太等9個區域使用，AWS提到，他們也將在Amazon SageMaker和Amazon EKS叢集中提供G4。