Nvidia推出企業用AI模型客製化平臺AI Foundry

本周Nvidia趕上Meta新版Llama 3.1模型列車，宣布可讓企業在Nvidia雲端上客製化AI模型的解決方案AI Foundry。

Nvidia是在Meta宣布Llama家族模型3.1版，包括405B時公布這項方案。Meta Llama 3.1同步在包括Nvidia內25家雲端平臺上線。

Nvidia說明，AI Foundry是一項AI服務，目的在讓企業使用資料、高速運算資源和軟體工具來開發部署自製模型，以增強其生成式AI專案。AI Foundry整合Nvidia雲端平臺DGX Cloud、NVIDIA NeMo及第三方工具和支援，可搭配多種底層模型。AI Foundry提供企業客製化的模型，包括Nvidia Nemotron和開源模型，包括Meta開源的Llama 3.1與CodeLlama、Google DeepMind開源的CodeGemma和Gemma、Mistral AI的Mistral和Mixtral、微軟Phi-3、StarCoder2等。

圖片來源／Nvidia

企業客戶可以將其在AI Foundry客製的模型，連同優化的引擎及標準API輸出為Nvidia NIM推論微服務，執行在其屬意的加速基礎架構上。而推論方案如Nvidia TensorRT-LLM，可加速Llama 3.1模型執行，降低延遲性和擴大傳輸吞吐量，可讓企業更快產生字符，減少從提示輸入的成本。此外Nvidia AI Enterprise軟體套件則提供安全性及管理、最佳化元件等底層支援。

客戶可以使用Nvidia合作夥伴提供的AIOps和MLOps平臺開發AI Foundry模型，包括Cleanlab、DataDog、Dataiku、Dataloop、New Relic、Scale等。AI Foundry全球服務技術夥伴包括Accenture、Deloitte、Infosys和Wipro等。

首先使用AI Foundry的客戶包括SAP、Capital One、KT、現代汽車、Snowflake、圖庫業者Getty Images等。

最新服務是Nvidia從單純基礎架構業者邁向更全面的雲端平臺的最新發展。Nvidia與Meta執行長黃仁勳和Mark Zuckerberg預定7月29日將在一場活動中對談，說明生成式AI和開源軟體如何幫助開發者及創作者，以及生成式AI在元宇宙中的角色。