【re:Invent 2024現場直擊】從模型訓練算力配置自動化、提示快取管理到RAG結構化資料支援，AWS揭一系列AI重大更新

在今年度re:Invent技術年會中，AWS資料與人工智慧資深副總裁Swami Sivasubramanian揭露AI服務重大更新，不論是機器學習平臺SageMaker還是生成式AI平臺Bedrock，都聚焦生成式AI（即GAI）帶來的更大算力和資料檢索需求，推出相應新功能。

SageMaker瞄準生程式AI更大的算力需求，新添算力支援和任務管理

比如，他們在專為GAI推出的快速擴展服務Amazon SageMaker Hyperpod中，正式新添了能自動化彈性支援模型訓練的計畫功能（Amazon SageMaker Hyperpod Flexible Training Plans），能自動設置模型訓練所需的基礎設施和運算叢集，而且還符合使用者預期的訓練時間和成本。Sivasubramanian說，這個新功能可提高訓練效率，省下好幾周的模型訓練時間。

再來，「有效管理訓練資源，也是很複雜的任務，」Sivasubramanian表示，對Amazon自己來說也是如此。於是他們開發一套功能，提高超過90%的加速運算運用率。「當我們與不同產業的資訊長、執行長們分享這個成功經驗，他們都表示這是他們需要的。」

於是，AWS今日正式推出Amazon SageMaker Hyperpod Task Governance任務治理功能，使用者能定義自己的優先任務，來最大化運用加速器運算資源，降低模型訓練、微調和推論的成本。甚至，使用者還能即時監控模型任務的執行洞察，來減少等待時間。

另一方面，為顧及使用者希望操作第三方AI應用程式、管理模型的需求，Sivasubramanian也揭露另一款更新，只要是AWS合作夥伴的AI Apps，都能在SageMaker中使用了。

Bedrcok也有模型市集了，還有提示管理新功能

不只如此，AWS還針對Amazon Bedrcok平臺，也就是優化GAI應用程式建置和擴展的服務，正式推出Amazon Bedrock Marketplace市集，提供100多個模型，來讓使用者測試、使用。

再來，為了更有效管理提示所衍生的成本，AWS分別推出2項預覽版功能，首先是Bedrcok提示快取（Prompt caching）支援功能，可以針對跨API呼叫的重複性提示進行快取，來避免不斷重複的提示產生的Token成本。「這是降低延遲和節省成本的關鍵，你可以降低85%延遲、節省90%成本。」

另一項功能是智慧提示分配（Bedrock Intelligent Prompt Routing），也就是能根據提示內容，自動分配給最適合的模型來處理、回答問題。Sivasubramanian說，有了這個功能，開發者不必再花大把時間測試哪個模型最適合回答哪些問題，可節省3成開發成本。

針對RAG痛點，推出更好的資料來源配對功能和Bedrock結構化資料檢索功能

RAG是透過搜尋外接資料庫知識，來避免大型語言模型（LLM）幻覺的重要手段。AWS先前就推出Bedrock Knowledge Bases知識庫來簡化RAG工作流程的管理，同時，為了讓使用者更容易在企業或組織中找到正確資料，AWS之前也推出Amazon Kendra服務，能透過機器學習支援來快速找到最相關的資料。

這次，AWS推出了Kendra GAI Index預覽版，使用者能連結40多個資料來源、對其索引，來讓企業更有效率打造數位助理和智慧搜尋體驗。這個功能，還能與Bedrock Knowlege Bases和其他工具整合，來開發RAG支援的AI助理，或是與Amazon Q Business整合使用，打造全託管的數位助理。

接著，AWS也針對RAG所需的資料類型，正式推出了Bedrock Knowledge Bases結構化資料檢索功能，Sivasubramanian還揭露其他資料處理新功能，像是Amazon Bedrock Data Automation預覽版，能自動從非結構化的多模態資料中抽取內容，來轉換、生成結構化資料；以及Bedrock Knowledge Bases支援GraphRAG的預覽版功能，使用者可以打造使用知識圖譜的GAI應用程式了。