Nvidia公布Llama Nemotron AI推理模型，支援開發AI代理人

Nvidia昨日在GTC大會上宣布具推理能力的3款Llama Nemotron模型，供企業打造AI代理人，涵括裝置端到資料中心環境，也宣布微軟、SAP等整合合作夥伴。

Llama Nemotron是Nvidia今年在CES（Consumer Electronics Show）大會上宣布的推理模型系列，以Llama模型為基礎，配合Nvidia後訓練提升其多步驟數學、編程、推理與複雜決策能力。Llama Nemotron模型有三個規格，皆可以Nvidia NIM微服務形式執行。其中，Nano可在PC和邊緣裝置執行、Super可在單一GPU上執行，而Ultra模型則適用於多顆GPU的伺服器。

Nvidia並宣布多個雲端及應用大廠將整合Llama Nemotron模型，提供其客戶開發代理人，包括微軟、SAP、ServiceNow等。微軟Azure AI Foundry將整合Llama Nemotron模型及NIM微服務，開發整合在Microsoft 365中的AI Agent。

SAP把Llama Nemotron模型整合在其軟體平臺，強化SAP Business AI解決方案及自家AI助理Joule，此外，SAP ABAP程式語言模型也會使用Nvidia NIM及NeMo微服務提升程式碼完成度。另一家軟體業者ServiceNow則使用Llama Nemotron模型開發各種產業的AI代理人。

在Llama Nemotron之外，Nvidia也在AI Enterprise軟體平臺，提供新的代理人AI工具及軟體。包括整理資料源及自動化AI代理人的開源工具Nvidia AI-Q Blueprint，其次用以優化代理人應用程式推理能力的新NIM微服務，可確保穩定部署Meta、微軟及Mistral AI的AI模型。

第3項為AI查詢代理人的可客製化參考設計Nvidia AI Data Platform，最後是協助建立AI資料飛輪（data flywheel）、持續改進AI代理人的新NeMo微服務。

Llama Nemotron Nano、Super模型及NIM微服務可在build.nvidia.com及Hugging Face託管API使用。企業用戶可在資料中心和雲端環境下，以Nvidia AI Enterprise執行Llama Nemotron NIM微服務。Nvidia AI-Q Blueprint預計4月推出，其中包含的工具組Nvidia AgentIQ現在可在GitHub取得。