走過GAI興奮期，性價比成新焦點

日前，OpenAI剛結束了一年一度的DevDay活動，但出人意外的，今年度的開發日的盛況不如去年，就連線上即時直播也沒有，更沒有往年全球開發者熬夜一睹最新GenAI發展的火熱。

就連Meta公司今年度的Connect大會中，引人討論最熱烈的話題，竟然不是最多人用的開源Llama模型釋出超強新版本，而是最新亮相的AR眼鏡Orion產品原型。

難道生成式AI（GenAI）技術熱潮退燒了嗎？是，也不是。

隨著科技巨頭不斷翻新自家LLM，大家對於GenAI各種嶄新能力越來越習以為常，不容易再出現去年那種驚為天人的興奮感。取而代之的是，今年能讓眾人感受眼睛一亮的，不是更多創新應用，而是效益更明確，甚至是高性價比的GenAI應用。全球零售龍頭Walmart在8月法說會上揭露的GenAI應用，就是一個最好的例子。

擁有4億款商品的Walmart，借助生成式AI技術輔助人工作業，來完善龐大商品目錄的內容，處理超過8.5億筆資料作業，大大改善了商品目錄的數據品質，根據他們自己評估，「沒有生成式AI，在相同時間內完成同樣作業，需要近100倍人力。」換句話說，在這項任務上，生成式AI帶來了100倍人手的生產力。這項數據改善，更影響到Walmart各項業務和營運的提升。這是少數公開，有明確效果的大型企業生成式AI案例，也引起很大的討論，甚至有資訊主管直言，這是他看到的第一個明確帶來很大效益的應用。

考量到成本效益，不只是昂貴的算力成本，還有龐大的資料搜集和處理成本，很多企業不再堅持重頭打造LLM，轉而先嘗試用提示工程，直接用廠商的LLM服務，來開發GenAI應用，希望先打造出最小可行產品（MVP）版本，再逐漸擴充功能，行有餘力（或有成效）才進一步投入LLM微調。

也有率先嘗試GenAI技術和開發的先行者企業，不只遇到低技術門檻（甚至可說是無技術門檻）的提示工程，帶來開發與業務協作的新考驗，更考慮到GenAI發展規模化的挑戰，必須建立一套可重複利用，容易推廣到更多場景、更多業務部門的架構。

1204期封面故事「向金融先行者學GAI創新」，就是希望向三家大型金控學習，玉山金控、永豐金控、國泰金控，借鏡他們率先投入生成式AI開發的經驗。

這三家金控都是去年就積極開始開發GenAI應用，各自都有不少應用成果，有些用於服務內部員工，或整合到內部系統和流程，也有金控開始用GenAI來提供對外的正式服務。他們都是生成式AI的先行者。

永豐金嘗試調整開發和業務兩種角色在GenAI開發中的協作關係，甚至要推動業務人員主導提示工程的GenAI開發模式，讓GenAI更快也更貼近業務場景的需求。

玉山開始聚焦發展GenAI規模化能力的基礎架構，不只將自家的多功能類ChatGPT平臺，從封閉架構轉為可擴充架構，更容易整合第三方API和自家累積多年的AI元件，還要自行設計共用的GenAI開發框架，來加快更多不同場景應用的開發。

國泰金控則兵分兩路，一方面積極鼓勵集團內子公司各自發展GenAI，找出更多生成式AI的適用場景，同時練兵。另一方面則開始統一全集團的AI發展藍圖，以原有的大數據生態圈基礎，拓展到AI領域的戰略布局，甚至在今年9月發表了一套生成式AI技術發展框架，要來拉齊和加速集團各子公司的GenAI發展步調。

他們每一家的GenAI發展過程和策略，各有偏好而略為不同，所瞄準的應用場景和發展規模也有各自的特色。這三家精彩的GenAI經驗，提供了不同面向，又能互補的GenAI探索經驗，值得大家借鏡！

 相關報導