Datadog推出Bits AI以大型語言模型改進企業系統可觀察性

Datadog將大型語言模型用於監控，建立一個稱為Bits AI的人工智慧助理，增加企業對系統的可觀察性。另外，針對如GPT或是BERT等預訓練大型語言模型，Datadog也推出可觀察性工具LLM Observability，用以監控生成式人工智慧應用程式，發現底層大型語言模型可能存在的問題。

監控應用程式和基礎設施是一項負擔繁重的工作，需要篩選來自不同系統的大量資料和文件，Datadog開發Bits AI可觀察性助理，供用戶以自然語言指令處理端到端事件管理，加速問題診斷以及確認事件影響範圍。

Bits AI提供單一對話介面，查詢和關聯整個Datadog平臺上的重要資料，監控範圍包括日誌、指標、追蹤、內部文件甚至是Slack對話等所有內容。Datadog採用了OpenAI的大型語言模型來強化Bits AI的功能，大幅降低系統監控的門檻，用戶能從Slack協調回應，Bits AI也會自動更新狀態給相關人士，而對於程式碼層級的錯誤，Bits AI甚至會提供簡單錯誤說明與修復建議，用戶只要滑鼠點擊就可以應用修復建議，並以單元測試驗證修復的正確性。

當事件獲得解決後，Bits AI還將協助用戶編寫分析報告，除了提供事件發生時的系統狀態，同時也會分析事件對客戶的影響，以及紀錄最後採取的措施。

Datadog並非第一家將大型語言模型用於監控工具的廠商，其競爭對手New Relic在今年5月就已經使用OpenAI多模態大型語言模型推出Grok，同樣讓用戶可以使用自然語言對話，深入了解系統問題，並獲得相對應的建議。

另外，針對企業大量在應用程式中整合預訓練大型語言模型，提供生成式人工智慧功能，Datadog也推出大型語言模型可觀察工具LLM Observability，供開發人員更深入了解底層大型語言模型的行為，Datadog提到，企業對模型的控制與了解不足，可能會導致模型表現不佳甚至不準確。

LLM Observability供用戶觀察提示詞以及回應，方便追蹤模型效能並探索可改進的機會。該工具為一個可持續監控大型語言模型的解決方案，偵測有問題的叢集、模型飄移，以及可能影響模型效能的特殊提示詞和回應特徵。