AWS
緊接著在微軟Ignite大會之後,AWS也在11月底的年度大會re:Invent中,揭露了更完整的GAI(Generative AI,生成式AI)戰略。
AWS執行長Adam Selipsky認為:「GAI是AI的下一階段,會徹底改變我們與AP互動的方式。」但是,AWS對於GAI未來願景的想法,就和微軟有很大的不同。「不會有一家公司,能打造出滿足所有人的模型。」
提出三層式GAI技術架構,以支援企業選擇、快速切換和組合不同模型
Adam Selipsky解釋,GAI應用現在仍處於非常早期的階段,大家都想要快速學習和實驗,而GAI技術的進化也很快。針對不同應用情境,不同的資料集,不同的模型的表現各有不同,各有不同的擅長,所以,不會有一家公司,能打造出滿足所有人的模型,企業也需要有能力適應各種不同的模型選擇。
AWS這個與競爭對手微軟的願景差異,也讓AWS在一年前展開了不一樣的GAI戰略布局。Adam Selipsky指出:「企業會需要可以選擇,可以快速切換和組合不同的模型。」AWS希望透過最簡單的API呼叫,讓企業運用更多種GAI模型。
AWS的GAI技術架構可以分為三個層級,訓練和推論需要的基礎設施、打造基礎模型和LLM的工具,以及要能善用各種基礎模型的應用。「最上層的應用,最好能做到使用者不需要任何專業知識,就能運用GAI的好處。」Adam Selipsky表示。
AWS的GAI技術架構可以分為三個層級,訓練和推論需要的基礎設施、打造基礎模型和LLM的工具,以及要能善用各種基礎模型的應用。最上層的應用層,AWS想做到,使用者不需要任何專業知識,就能運用GAI的好處。(圖片來源/AWS)
GAI基礎設施是AWS的強項之一,早在2010年,AWS是第一家將GPU帶進雲的業者,開始提供GPU算力的實例,現在甚至可以提供單一叢集2萬顆GPU,相當於超級電腦等級的算力。
AWS也有自己打造的模型專用訓練晶片和推論晶片,AWS早在2013年發展第一張Nitro網路加速卡,就開始使用自己設計的Arm架構Graviton處理器。2019年底也推出了使用自家設計的推論晶片Inferentia的執行實例。在2021年時,AWS進一步推出了AI訓練加速晶片Trainium的實例。在2023年4月,AWS先發布了推論加速晶片第二代,到了11月更發布了第二代模型訓練晶片Trainium2,比前一代快4倍,可因應千億至兆級參數等級的基礎模型訓練需求,將於2024年正式推出相關實例。
如同其他公雲一樣,AWS也擴大與Nvidia的合作,如在EC2執行個體提供整套GH200 NVL32的算力,另外AWS也開始託管由Nvidia專為GAI運算所設計的Nvidia DGX超級電腦等級運算雲。
在AWS的GAI技術架構第二層的工具層中,AWS原本已有一款針對不同AI應用的開發工具Sagemaker,超過1千家企業採用,可以用來訓練10億到千億規模的各種AI模型。到了去年4月,AWS進一步發表了GAI專用開發工具Bedrock平臺預覽版,可以支援多種大型語言模型,包括了AI21、Amazon Titan、Anthropic、Cohere、Llama2到stability.ai等。這些模型中也包括了Amazo自己訓練的模型家族Titan,提供了不同用途的LLM模型,像是文字摘要用,文字編輯用或嵌入式模型。
Bedrock的特色是快速開發,也容易擴大規模,可以使用不同企業等級的模型,來搭配企業自己的資料,也提供了安全控管和隱私機制。AWS很快就在去年9月推出正式版Bedrock,到了11月底,超過1萬家企業採用。例如NASDAQ用來設計一個可以自動調查可疑交易的自動流程,來強化金融犯罪的防範能力。
不只可以任選模型,Bedrock的另一個特色是客製化能力。「只有使用自己的資料,才會創造出獨特的模型能力。」Adam Selipsky表示,Bedrock的目標是支援你用自己資料,來客製化各種AI應用的需求。
在11月年度大會時,Bedrock新增了3類客製化功能,一是新增了Cohere、Llama2與Titan三種模型的微調(Fine tuning),其次是企業目前熱門的RAG模式服務Retrieval Augmented Generation (RAG) with Knowledge Bases,還有提供了Titan模型的持續預訓練,企業可以不斷輸入新資料來優化Titan。
AWS更在2023年底正式推出了Amazon Bedrock的代理人(Agent)功能,可以跨不同系統或資料源,來執行多步驟的任務,這個GAI代理人就像是一隻可以代表使用者來執行任務的GAI應用。
Bedrock的Agent功能是在去年中揭露,不到半年就變成正式功能。企業選好想用的模型,提供一些基礎的指示,再設定用哪些Lambda函數來存取不同的功能API,並且選擇有哪些可用的資料源,就可以快速產生一個GAI代理人。
當有外部使用者對這隻GAI代理人程式提出一個任務請求後,GAI模型會分析這個請求,建立一系列的執行步驟,並且自動判斷需要取得哪些資料,然後規畫什麼時候該呼叫哪些API來存取資料,再建立一份針對該項請求的執行計畫後,就會開始執行,按步驟執行,搜集相關資料來完成任務。
透過Bedrock的代理人功能來打造GAI應用,完全不用寫程式,不需要輸入許多模型提示指令,也不用手動連結不同資料源。「Bedrock希望讓模型的選擇、客製化和整合都變成更簡單。」Adam Selipsky表示。
除了相關資料安全和資安法遵機制之外,AWS在大會上推出了Guardrails for Amazon Bedrock模型護欄機制,可以套用企業的可解釋性AI政策,來過濾有害內容,企業可以針對所有GAI開發過程,建立一致的模型保護政策,更關鍵的是,企業可以將同一套護欄政策,透過Bedrock套用到任何模型和代理人上,包括企業自己的模型。不同於其他業者透過規則設定或關鍵字來建立過濾條件,Bedrock提供了一個配置精靈,讓企業IT人員直接用一段話(自然語言)描述想要控管或避免呈現的內容,再由LLM模型產生用來把關的護欄政策,這個做法可能無法第一時間精準產生所有的過濾規則,但是卻可以涵蓋到定義模糊或很難定義的過濾範圍。 AWS預計未來將新增模型對話中的個資(PII)馬賽克功能,來避免外洩。
應用層是AWS GAI技術架構的最上層,AWS策略是,無縫整合AI助理,讓GAI可以對每一個人的工作有幫助,而不用管底層用了什麼模型或技術。Amazon先在2022年就推出了一款輔助開發的GAI助手CodeWhisperer,可以自動生成15種語言的程式碼,尤其是AWS環境用的程式碼,到了2023年下半,開始提供客製化能力,GAI可以讀取企業內部SDK、自製API來生成更符合企業習慣的程式碼。
AWS瞄準企業內部GAI應用,推出商務型AI助手
在年度大會上,Adam Selipsky宣布了AWS商務型聊天機器人Amazon Q。Amazon Q用了AWS過去17年來的各種知識、文件來訓練,採用了另外的LLM模型(非Titan)來訓練。Amazon Q還分為兩種,一種是AWS專家型AI助手,可以提供各種AWS使用問題的解答。另一種則是企業內部專家型AI助手,可以讀取企業內部資料,依據詢問者的權限回答問題。
AWS專家型的Amazon Q目前提供了四大類功能,可以解答AWS服務的使用問題和提供最佳實務的建議,其次是可以整合到開發人員的IDE中,依據專案脈絡來生成程式碼,第三則是可以轉換程式碼來進行AP升級,最後是可以生成Amazon相關資料平臺產品的SQL語法。
在程式碼輔助上,Amazon Q可以完成一項新功能的多步驟開發任務,開發人員輸入一句提示後,Amazon Q會讀取整個專案程式碼,來產生這個功能的草案版本,再讓開發者透過對話互動進行修改程式碼再發布。另外,Amazon Q Code Transformation可以將Java應用程式,從第8和11版升級到17版,還會檢查程式碼的相依性,來更新套件和框架,並且取代不再支援的棄用程式碼。下一步,AWS計畫推出能將Windows .NET應用,轉換成Linux應用的程式碼轉換功能。
而另一類企業內部專家型的Amazon Q則用來存取企業自己的資料,可以支援超過40種資料來源,像是S3、Salesforce、M365、 Google硬碟、ServiceNow、Gmail、Slack、Atlassian或Zendesk等。當使用者提問後,Amazon Q會先理解所提問的問題,自動產生一系列的提示給LLM,來存取各種資料,組合成這個問題的答案,但是會整合企業既有的存取權限,只傳回詢問者有權限取得的內容。
企業內部專家型Amazon Q支援超過40種資料來源。當使用者提問後,Amazon Q先理解問題,自動產生一系列提示給LLM,來存取各種資料,組合成這個問題的答案,也會整合企業權限,只傳回詢問者有權取得的內容。(圖片來源/AWS)
另外,AWS也開始打造特定用途的Amazon Q,先推出了客服中心專用版,類似企業內部專家的作法,但是更聚焦在存取企業CRM相關的系統和資料,並且幾乎即時產生顧客回覆內容給客服人員參考,還會附上原始資料的參考連結,來加快新手客服上手的速度。
圖片來源/AWS
熱門新聞
2024-10-05
2024-10-07
2024-10-07
2024-10-07
2024-10-05
2024-10-07
2024-10-07