AI21發表企業級AI規畫與調度平臺，解決LLM輸出不穩定的問題

企業導入大型語言模型應用面臨輸出不確定性的挑戰，難以掌控模型實際行為，增加了系統驗證與維護的負擔。針對這個問題，以色列人工智慧公司AI21 Labs推出名為Maestro的企業級人工智慧規畫與調度平臺，透過動態任務規畫、自動調度（Orchestration）與即時驗證（Validation）等技術，降低大型語言模型輸出的不穩定性與不可預測性，協助企業將生成式人工智慧落地至業務流程中。

Maestro的核心技術特點是將單一提示詞拆解成任務指令詞與驗證需求兩部分，並在推論階段監控與驗證模型生成的內容。這種機制不同於過去仰賴模型一次性產出結果，而是以動態樹狀結構建立多條生成路徑。系統會同時生成多個候選輸出，並根據預設標準驗證每個候選方案的正確性，持續淘汰或修正不合格的結果，直到最終輸出完全符合使用者設定的需求條件。

Maestro內部會依據任務需求動態調整生成策略，包括在廣度上採用Best-of-N策略，也就是針對同一問題同時產生多個候選結果，再選取最佳方案，以及在深度上運用Generate-and-Fix策略，針對接近需求的候選輸出進行多次迭代修正。透過交錯運用這兩種方法，有效提高模型結果的準確性與穩定性。此外，系統也支援外部工具整合，例如透過檢索增強生成（RAG）機制整合企業內部知識庫或外部資料來源，進一步提高輸出結果的正確性。

使用者藉由Maestro的執行追蹤（Execution Trace）與驗證報告機制，可掌握系統運作細節，其詳細呈現每一步生成過程、執行策略選擇以及驗證結果。使用者可根據報告即時掌握模型決策的依據與執行情形，進一步調整與改進系統運作規則，避免企業內部人工智慧應用成為難以維護的黑盒子。

AI21 Labs表示，Maestro已經在複雜推理應用、內部文件生成、資料整合及嚴格格式控制等場景獲得驗證，例如具多步驟推理與多文件檢索的FRAMES基準測試中，Maestro的動態規畫與驗證架構大幅提高了正確率。透過內建的LLM-as-a-Judge及程式化驗證兩種驗證機制，可將企業特定的驗證邏輯直接導入生成流程，確保輸出結果嚴謹符合業務或法規要求。

在實際應用上，企業可根據具體需求定義驗證條件，包括格式限制、內容規範、語氣控制或其他特殊需求，Maestro系統將在生成過程中持續驗證並自動修正，直到滿足設定要求或預算資源耗盡為止。