Nvidia昨日在GTC大會上宣布具推理能力的3款Llama Nemotron模型,供企業打造AI代理人,涵括裝置端到資料中心環境,也宣布微軟、SAP等整合合作夥伴。

Llama Nemotron是Nvidia今年在CES(Consumer Electronics Show)大會上宣布的推理模型系列,以Llama模型為基礎,配合Nvidia後訓練提升其多步驟數學、編程、推理與複雜決策能力。Llama Nemotron模型有三個規格,皆可以Nvidia NIM微服務形式執行。其中,Nano可在PC和邊緣裝置執行、Super可在單一GPU上執行,而Ultra模型則適用於多顆GPU的伺服器。

Nvidia並宣布多個雲端及應用大廠將整合Llama Nemotron模型,提供其客戶開發代理人,包括微軟、SAP、ServiceNow等。微軟Azure AI Foundry將整合Llama Nemotron模型及NIM微服務,開發整合在Microsoft 365中的AI Agent。

SAP把Llama Nemotron模型整合在其軟體平臺,強化SAP Business AI解決方案及自家AI助理Joule,此外,SAP ABAP程式語言模型也會使用Nvidia NIM及NeMo微服務提升程式碼完成度。另一家軟體業者ServiceNow則使用Llama Nemotron模型開發各種產業的AI代理人。

在Llama Nemotron之外,Nvidia也在AI Enterprise軟體平臺,提供新的代理人AI工具及軟體。包括整理資料源及自動化AI代理人的開源工具Nvidia AI-Q Blueprint,其次用以優化代理人應用程式推理能力的新NIM微服務,可確保穩定部署Meta、微軟及Mistral AI的AI模型。

第3項為AI查詢代理人的可客製化參考設計Nvidia AI Data Platform,最後是協助建立AI資料飛輪(data flywheel)、持續改進AI代理人的新NeMo微服務。

Llama Nemotron Nano、Super模型及NIM微服務可在build.nvidia.com及Hugging Face託管API使用。企業用戶可在資料中心和雲端環境下,以Nvidia AI Enterprise執行Llama Nemotron NIM微服務。Nvidia AI-Q Blueprint預計4月推出,其中包含的工具組Nvidia AgentIQ現在可在GitHub取得

熱門新聞

Advertisement