Nvidia CEO揭GPU新戰略，更推出一系列整合GPU加速運算新產品，搶攻資料中心AI、邊緣應用需求

受武漢肺炎疫情衝擊的影響，每年3月在美國聖荷西舉辦的GTC技術大會，今年首度改為線上進行，Nvidia更將主題演講延到5月中以網路播送方式舉行。而Nvidia執行長黃仁勳更是直接在家裡開講，不只向網路收看的資料科學家、還有眾多AI開發者，發表一系列整合GPU加速運算新產品，以及新AI開發工具或應用框架，他會中更揭露該公司新的戰略方向，就是要以打造全程端到端的資料中心規模GPU運算平臺（datacenter-scale computing）為目標，以便能實現資料中心等級規模的運算性能。

一開場，黃仁勳便回顧過去25年來GPU加速運算的發展，從最早平行運算GPU晶片，CUDA運算核心軟體堆疊，系統架構發展到單一整合架構。但是真要說到，近幾年，促使加速運算在資料中心領域迅速受到重用的關鍵，他分析主要有兩大原因，一個是以大量資料餵送來提高準確率的新型演算法，或稱為機器學習演算法的出現，使得如何處理資料中心內部大量資料傳遞與資料運算處理，變得極為重要。而應用類型越來越龐大且複雜則是他提到的另一個原因，難以再像以前，單靠提高單臺伺服器本身的運算效能，就能應付處理各類型應用工作負載。

因此，黃仁勳直言：「資料中心的運算單元，不再是以伺服器為最小單位，而是把資料中心當作新的運算單元，」甚至他認為，下一個十年，具備有資料中心處理等級的運算平臺，將成為一種常態，意味著，資料中心將成為數據運算的最基本單位。這也是Nvidia的新戰略方向，未來得要能夠提供全程端到端的資料中心規模的GPU運算平臺方案。

由於越來越多企業走向軟體定義資料中心，許多開發者都將自己應用放在上面執行，為了要能涵蓋這些不同類型應用的執行，特別是AI應用，他認為，新一代資料中心等級的運算平臺或系統，不只要有高效能運算處理能力，還要能夠涵蓋網路、儲存，甚至從上層應用到底層所有軟體堆疊優化都包含在內，藉此來達到最佳化的加速運算效能。這正是Nvidia去年決定買下Mellanox這家公司的原因，甚至不惜重砸69億美元，為的就是補足其在資料中心內部高速網路架構和資料傳輸這一塊拼圖。前不久，Nvidia更加碼買下另一家以Linux為基礎核心的網路OS軟體公司Cumulus，也是為了這個目的。

在完成併購後，Mellano如今已成為Nvidia的網路部門，Nvidia今日也以Mellanox品牌推出新產品，包含一臺高速乙太網路交換器Spectrum 4000、新一代可程式SmartNIC網卡BlueField 2 等。

而在AI加速運算方面，Nvidia發布新一代Ampere架構GPU產品Tesla A100，也是首款採用台積電7奈米製程打造的GPU晶片，內含540億顆電晶體。這代GPU提供了多達6,912個CUDA核心、外加432個Tensor Core的AI運算核心，並加入許多可用於AI運算加速與處理新技術，像是這代GPU就採用多實例GPU技術 (Multi-instance GPU），來提高在單個A100 GPU上同時並行執行AI運算任務的能力，最多可支援7個獨立GPU實例的運作。另外，對於稀疏矩陣格式運算也進行優化，可提供2倍執行加速，並支援TF 32、FP16、BFLOAT16等浮點格式，以及INT8與INT4資料類型。

根據Nvidia內部測試數據顯示，當以Tesla A100加速卡執行AI模型訓練時，其運算效能比起前一代Volta架構V100高出20倍之多，達到312 TFLOPS（以單精度浮點運算為基準），另在執行AI推論表現亦優於V100，可提供1,248 TOPS的運算力。就連在HPC應用，對比前一代也有近2.5倍的提升，達到19.5 TFLOPS。另以Google自然語言模型BERT進行訓練與推論的話，A100則較V100分別高出6倍與7倍之多。

基於這代GPU運算加速器產品，Nvidia還推出一臺整合8張Tesla A100 GPU加速卡組成的AI超級電腦系統DGX A100，效能是前一代DGX-2的兩倍，可達到5 PetaFLOPS，但只需用原來一半價格，大約臺幣600萬元就能買到，這樣一臺媲美AI資料中心算力級別的運算設備。目前已於全球出貨。

黃仁勳還介紹了邊緣AI運算用的新一代EGX融合加速器平臺EGX A100，同樣採用Ampere架構GPU，並整合Mellanox的martNIC網卡，一併放進該加速器平臺，能用於各種產業邊緣AI應用。除了可在該平臺上執行預設AI模型，該公司也提供了EGX參考AI應用框架，對應到不同產業，用來協助其建立DL模型，像是針對智慧城市提供Metropolis，或是醫療保健用的Clara，還有用於5G電信的Aero，以及對話式AI的Jarvis與機器人技術的Isaac等。預計年底前出貨 。

除此之外，Nvidia這次也有不少相關的AI開發工具、軟體推出， 例如，最新一個多模式對話式AI服務的應用框架Jarvis就是其中一個，可讓開發者用於建立ASR 、NLU、TTS、A2F等語音辨識、自然語言理解推論模型，Nvida還展示以該技術搭配3D設計協作平臺Omniverse打造的一個3D聊天機器人Misty，有著水滴卡通造型的Misty，使用Audio to Face模型，來模擬人講話動態以及嘴型，可以用自然地口吻與人交談和互動，或回答對方的提問。另一個推出的AI簡化和管理應用工具Merlin，則是可用於推薦系統所需AI模型的快速開發、建立，優化，提供更個人化的推薦。