VMware 與 NVIDIA 為企業開啟生成式AI時代

VMware Inc.（NYSE: VMW）和NVIDIA（NASDAQ:NVDA）今天宣布擴大策略合作夥伴關係，讓在VMware 雲端基礎設施上運行的數十萬家企業為生成式AI 時代做好準備。

VMware Private AI Foundation with NVIDIA將使企業能夠自定義模型並運行生成式人工智慧應用程式，包括智慧聊天機器人、助理、搜尋和摘要生成等。該平台將是一個全面整合的解決方案，具備來自NVIDIA的生成式人工智慧軟體和加速運算，建立在VMware Cloud Foundation上，並針對人工智慧進行了最佳化。

VMware執行長Raghu Raghuram表示：「生成式人工智慧和多雲環境是完美的結合。客戶資料無處不在，存在於他們的資料中心、邊緣設備和雲端中。與NVIDIA合作，我們將使企業能夠放心地在其資料附近運行生成式人工智慧工作負載，同時解決企業對資料隱私、安全和可控性的擔憂。」

NVIDIA創辦人暨執行長黃仁勳表示：「世界各地的企業都在競相將生成式人工智慧與其業務整合。我們與VMware的擴大合作將為金融服務、醫療保健、製造等領域數十萬客戶，提供他們所需的全端軟體和運算，以使用透過自有資料構建的自定義應用程式來釋放生成式人工智慧的潛力。」

全端運算增強生成式人工智慧效能

為了更快地獲得業務效益，企業正在尋求簡化生成式人工智慧應用的開發、測試和部署流程。麥肯錫估計，生成式人工智慧每年可能為全球經濟增加多達4.4兆美元的價值。⁽¹⁾

VMware Private AI Foundation with NVIDIA將使企業能夠利用這種能力，定制大型語言模型，為其內部使用生成更安全和私有的模型，向其使用者提供生成式人工智慧服務，並且更安全地大規模運行推論工作負載。

該平台預計將包括整合的人工智慧工具，使企業能夠以具成本效益的方式運行在其私有資料上訓練的經過驗證的模型。該平台將建立在VMware Cloud Foundation和NVIDIA AI Enterprise軟體之上，預期效益包括：

• 隱私 — 使客戶能夠在擁有資料的任何地方輕鬆運行人工智慧服務，並採用保護資料隱私和安全訪問的架構。

• 選擇 — 企業將在建立和運行其模型的地點上有廣泛的選擇 — 從 NVIDIA NeMo™ 到 Llama 2 及更高版本 — 包括領先的 OEM 硬體配置，並在未來還可能涵蓋公有雲和服務供應商的方案。

• 效能 — 正如最近產業基準測試所證明的，在某些使用案例中，在 NVIDIA 加速基礎設施上運行將提供等於甚至超過裸機的效能。

• 資料中心規模 — 虛擬化環境中的GPU 擴展優化，可讓人工智慧工作負載在單一虛擬機器中擴充至16個vGPU/GPU，並跨越多個節點以加速生成式AI模型的微調與部署。

• 降低成本 — 將最大程度地利用跨GPU、DPU和CPU的所有運算資源，降低整體成本，並建立一個可在團隊之間有效共享的資源池環境。

• 加速儲存 — VMware vSAN Express儲存架構 (Express Storage Architecture，ESA) 將提供性能優化的NVMe儲存，並支援基於RDMA的GPUDirect®儲存，允許從儲存直接I/O傳輸到GPU，無需CPU參與。

• 加速網路 — vSphere與NVIDIA NVSwitch™技術之間的深度整合將進一步實現多GPU模型的執行，而不會有GPU之間的瓶頸問題。

• 快速部署和價值實現 — vSphere 深度學習VM映像檔和映像庫透過提供穩定的一站式解決方案（包括預安裝的框架和效能最佳化庫），支援快速原型製作功能。

該平台將提供NVIDIA AI Enterprise中包含的端到端雲原生框架NVIDIA NeMo，而NVIDIA AI Enterprise是NVIDIA 人工智慧平台的操作系統，它使企業能夠在幾乎任何地方構建、定制和部署生成式人工智慧模型。NeMo結合了定制框架、護欄工具包、資料內容篩選工具和預訓練模型，為企業提供了一種簡單、具成本效益且快速的方式來採用生成式人工智慧。

為了在生產中部署生成式人工智慧，NeMo 使用 TensorRT for Large Language Models（TRT-LLM），它可以加速和優化 NVIDIA GPU 上最新大型語言模型的推論性能。借助 NeMo，VMware Private AI Foundation with NVIDIA將使企業能夠將自己的資料導入其中，在 VMware 的混合雲基礎設施上構建和運行自定義生成式人工智慧模型。

在VMware Explore 2023 大會上，NVIDIA 和VMware 將重點介紹企業內的開發人員如何使用新的NVIDIA AI Workbench 來提取社群模型（例如Hugging Face 上提供的Llama 2）、遠端自訂它們以及在VMware 環境中部署生產級生成式人工智慧。

VMware Private AI Foundation with NVIDIA的廣大生態系統支持

技術將得到戴爾科技集團、慧與科技公司和Lenovo將支援VMware Private AI Foundation with NVIDIA，它們將成為率先採用NVIDIA L40S GPU、NVIDIA BlueField®-3 DPU和NVIDIA ConnectX®-7 SmartNICs提供增強企業大型語言模型定制和推論工作負載的系統。

與 NVIDIA A100 Tensor Core GPU 相比，NVIDIA L40S GPU 的生成式人工智慧推理效能提高了 1.2 倍，訓練性能提高了 1.7 倍。

NVIDIA BlueField-3 DPU能夠加速、卸載和區隔虛擬化、網路、儲存、安全以及其他雲原生AI服務所帶來的大量運算負載，從而減輕GPU或CPU的負擔。

NVIDIA ConnectX-7 SmartNIC則為資料中心基礎設施提供智慧加速的網路功能，以提升世界上一些要求最嚴苛的 AI 工作負載。

VMware Private AI Foundation with NVIDIA是建立在雙方長達十年的合作夥伴關係之上。 他們的共同工程工作優化了 VMware 的雲端基礎設施，以運行 NVIDIA AI Enterprise，其性能可與裸機相媲美。共同客戶進一步受益於 VMware Cloud Foundation 提供的資源和基礎架構管理以及靈活性。

上市時間

VMware 計劃於 2024 年初與 NVIDIA 一同發布 VMware Private AI Foundation with NVIDIA。

關於NVIDIA（輝達）

NVIDIA（輝達）自 1993 年成立以來始終為加速運算領域的先驅。自 1999 年發明 GPU 起便成功促進 PC 電競市場的成長、重新定義電腦繪圖、引領現代人工智慧時代並推動打造工業數位化。NVIDIA 為一間全方位的運算公司，提供資料中心規模的產品以重塑產業樣貌。欲瞭解更多資訊，請瀏覽 https://nvidianews.nvidia.com/。