推動AI代理人應用，Nvidia提供AI護欄微服務、漏洞掃瞄工具

Nvidia宣布推出NIM AI護欄微服務，以解決企業對AI代理人的資料安全或違反法令的疑慮。

最新的NIM AI護欄微服務是Nvidia NeMo護欄（NeMo Guardrails）軟體工具集的一部份，都是以NIM微服務提供，包含內容安全、主題控管及越獄偵測。NeMo Guardrails是Nvidia開源的工具套件，可讓開發人員為LLM應用程式加入可編程的護欄（Guardrails）或管理規則。NeMo Guardrails是Nvidia NeMo管理平臺的一部份。

新推出的內容安全微服務可防止AI生成有偏見或有害的輸出，確保符合倫理標準。主題控管微服務則確保對話內容的主題在許可範圍內，避免離題或不適當內容。越獄偵測微服務則防範使用者越獄（jailbreak），以免AI遭到不當利用的攻擊。其中內容安全微服務是以Nvidia的Aegis Content Safety Dataset訓練而成，包含3.5萬個人員標註的資料樣本。該資料集已在Hugging Face上公開。

Nvidia指出，企業開發人員可在開發AI代理人時使用這些輕量專用的微服務作為護欄，以作為特定AI工作流程的控管，以填補更廣泛安全政策的漏洞。此外，這些模型輕巧，可高速執行、減少延遲性，在遠端辦公室或頻寬不足的地方如醫院或倉庫也能執行，這有助於醫療、汽車、製造業擴大部署AI。

Nvidia也提供了其已開源的LLM和應用漏洞掃瞄工具Garak來檢測模型及應用程式的安全性，防止資料外洩、提示注入、程式碼幻覺及越獄可能性。