GAI帶來企業跨雲維運新課題

生成式AI（或簡稱GAI）的競賽到了年底，依舊是熱鬧滾滾。12月初，AWS在年度大會上，終於揭曉了自己的生成式AI戰略和產品布局，包括了生成式AI架構，從基礎設施、工具到應用程式等三個層級的產品策略，還首度發表了商務型AI聊天機器人Amazon Q。

雖然AWS自己也有發展自己的LLM模型Titan，但是，不同於微軟和Google以主力LLM模型為主打的策略，AWS更偏向打造企業需要的GAI工具鏈。AWS打造GAI工具鏈有一個特色是，格外講究企業導入GAI過程的使用體驗。

舉例來說，AWS 也和其他雲端業者一樣，都提供了LLM模型生成內容的把關機制，來避免生成企業不希望出現的內容。其他業者的把關機制是由企業自行訂定過濾規則或判斷條件來控管，而AWS的作法則是讓企業IT人員，直接用一段話（自然語言）來描述想要控管或避免呈現的內容，再由LLM模型產生用來把關的條件，雖然有可能無法第一時間精準的產生所有想要過濾的規則，但是卻可以涵蓋到定義模糊或難以定義的過濾範圍，另外，對管理人員來說，這也是一個更容易操作，建立過濾規則的介面。

不只AWS揭露全套GAI產品策略，Google也在12月6日，發表了最新也是他們有史以來最強的多模態GAI模型Gemini，提供三個版本，參數最多的Ultra版，通用性最廣的Pro版，以及一款參數量較少但可以在手機裝置上運作的Nano版模型。不過，目前會先上線後兩款模型，Ultra版則還在測試，得等到明年才會推出。

Gemini除了在32項AI標準測試中，有30項評分打敗了GPT-4V之外，我覺得最大亮點是推出了可以在手機上執行，而且是不用連結網路，也能運作的Nano版。目前只支援Pixel系列手機。錄音App可以在不連網情況下，使用手機上的TPU晶片來執行Nano版Gemini模型，從會議錄音檔中摘要整理出文字紀錄，也將會支援Gboard的智慧回覆，在通訊軟體中用口說來輸入回覆文字。

既然Nano版都可以離線執行，我在記者會上提問，Gemini版有沒有可能釋出可以部署在企業內部的落地版本，Google沒有鬆口，只說目前只能透過API存取雲端LLM模型。

不只Google，就連微軟Azure也沒有自家LLM模型的落地部署版本，而AWS自家最新推出的Amazon Q商務對話機器人，也是只有雲端版本。

因為LLM模型具有獨占性，一但企業使用了某一套模型，想要轉換底層基礎LLM模型，得重新訓練或微調模型，代價很高，因此，企業一開始選定了哪一個模型，後續多半會繼續使用。雲端業者看上的就是，企業選擇了某一款業者LLM模型，就得連帶使用這個模型相關的雲端服務。

我有次採訪中信金控科技長賈景光時，他強調：「生成式AI是上雲的殺手級應用，讓上雲成了非走不可的一條路。」

為了善用不同LLM的能力，雲端業者不斷強調要提供更多模型來支援不同的任務需求，企業勢必得使用越來越多種雲端LLM和相關的雲端服務，甚至是來自不同雲端供應商的服務。

上雲越深，越久，按用量計價的雲端費用就越暴增，當企業使用了愈多不同供應商、不同雲端服務業者的LLM服務，就越會面臨各種不同雲端計價方式、費用管理的複雜管理課題。

也因如此，國外近年興起了一股雲端費用管理優化新浪潮FinOps（Cloud Financial Operations的簡稱）。隨著上雲企業越來越多，用量越來越大，國外甚至有企業一年上雲費用高達10億美元之多，如何節省上雲開銷成了企業上雲的新顯學。

生成式AI浪潮迫使企業得更積極上雲，但也讓企業面臨了更複雜的上雲費用管理挑戰，這將是臺灣企業CIO接下來的新課題。

 相關報導 

Amazon公布企業用AI聊天機器人Amazon Q

GPT-4V最強對手來了，Google多模態Gemini模型登場