![](https://s4.itho.me/sites/default/files/styles/picture_size_large/public/field/image/0725-nvidia_ai_foundry_-_llama_3.1_press_release_image-9602.jpg?itok=OtcDr6Qc)
Nvidia
本周Nvidia趕上Meta新版Llama 3.1模型列車,宣布可讓企業在Nvidia雲端上客製化AI模型的解決方案AI Foundry。
Nvidia是在Meta宣布Llama家族模型3.1版,包括405B時公布這項方案。Meta Llama 3.1同步在包括Nvidia內25家雲端平臺上線。
Nvidia說明,AI Foundry是一項AI服務,目的在讓企業使用資料、高速運算資源和軟體工具來開發部署自製模型,以增強其生成式AI專案。AI Foundry整合Nvidia雲端平臺DGX Cloud、NVIDIA NeMo及第三方工具和支援,可搭配多種底層模型。AI Foundry提供企業客製化的模型,包括Nvidia Nemotron和開源模型,包括Meta開源的Llama 3.1與CodeLlama、Google DeepMind開源的CodeGemma和Gemma、Mistral AI的Mistral和Mixtral、微軟Phi-3、StarCoder2等。
圖片來源/Nvidia
企業客戶可以將其在AI Foundry客製的模型,連同優化的引擎及標準API輸出為Nvidia NIM推論微服務,執行在其屬意的加速基礎架構上。而推論方案如Nvidia TensorRT-LLM,可加速Llama 3.1模型執行,降低延遲性和擴大傳輸吞吐量,可讓企業更快產生字符,減少從提示輸入的成本。此外Nvidia AI Enterprise軟體套件則提供安全性及管理、最佳化元件等底層支援。
客戶可以使用Nvidia合作夥伴提供的AIOps和MLOps平臺開發AI Foundry模型,包括Cleanlab、DataDog、Dataiku、Dataloop、New Relic、Scale等。AI Foundry全球服務技術夥伴包括Accenture、Deloitte、Infosys和Wipro等。
首先使用AI Foundry的客戶包括SAP、Capital One、KT、現代汽車、Snowflake、圖庫業者Getty Images等。
最新服務是Nvidia從單純基礎架構業者邁向更全面的雲端平臺的最新發展。Nvidia與Meta執行長黃仁勳和Mark Zuckerberg預定7月29日將在一場活動中對談,說明生成式AI和開源軟體如何幫助開發者及創作者,以及生成式AI在元宇宙中的角色。
熱門新聞
2024-09-02
2024-09-02
2024-09-06
2024-09-02
2024-09-02
2024-09-03
2024-09-04
2024-09-02