AWS在re:Invent 2021大會中發表的機器學習SageMaker無伺服器推理(SageMaker Serverless Inference)服務,現在已經正式上線。用戶可以使用該服務快速部署機器學習模型,執行推理工作負載,而不需要配置和管理底層基礎設施。

當用戶在SageMaker部署模型時,只需要選擇無伺服器選項,SageMaker就會根據推理請求的數量,自動配置、擴展和縮減運算容量,AWS提到,用戶僅需要針對處理推理請求的運算容量,和資料量支付費用,不需要對空閒時間付費,因此很適合用於間歇性或是不可預測流量的應用程式。

從re:Invent 2021大會發布以來,AWS持續更新SageMaker無伺服器推理,加入了對Python SDK的支援,抽象模型部署來簡化開發者的工作,同時支援模型註冊表,讓開發者可以整合無伺服器推理端點和MLOps工作流程。AWS也加大每個端點並行觸發的上限,從50提升到200,使得用戶可以將SageMaker無伺服器推理用於高流量工作負載。

熱門新聞

Advertisement