2022年11月,ChatGPT橫空出世,全球掀起了生成式AI浪潮,各行各業開始研究創新應用,金融業也不例外地投入研發能量。隔年三月中,短短一周內,OpenAI推出GPT-4模型、圖像生成工具Midjourney v5釋出,更有百度推出中國版ChatGPT文心一言,用來對抗ChatGPT。AI的快速進展再次震撼全球,連掌舵全集團多年AI發展的玉山金控科技長張智星,在那一周的心情,都興奮地「難以入睡」。
在臺灣,玉山金控是第一批率先採用微軟ChatGPT方案的金融業者。早在2023年三月初,微軟Azure OpenAI服務推出沒多久,張智星和團隊就立刻展開評估,篩選使用場景,最後決定先將ChatGPT用於內外部的KYC調查應用上,幫助銀行行員從大量新聞內容中,找出開戶顧客有無負面行為或記錄的資訊。實際採用後,開戶時間從原本的30分鐘,縮短到只要幾分鐘,大大減少了開戶顧客的等待時間。
當時,張智星就透露,玉山AI團隊採用ChatGPT技術前,曾評估過,能不能建立玉山自己的ChatGPT,也就是先自建一套LLM模型,再用來開發Chatbot應用。不過,玉山團隊很快意識到,訓練LLM模型不僅需要龐大算力,還很燒錢,不是一般企業可以自己來。
他以當時玉山的算力資源來估算,若要訓練出媲美ChatGPT的對話水準,就算投入所有算力,也要一到兩年才能訓練出LLM模型。單是訓練一次GPT-3模型的成本就要140萬美元,若是參數量更大的LLM模型,訓練成本更是要花費200萬美元到1,200萬美元之間,價格非常昂貴。
發現自建模型這條路不可行,玉山很快地調整策略。當時,張智星指出,他們要直接善用ChatGPT在對話式AI的卓越能力,讓玉山把同類型AI應用發揮得更好。例如,將玉山過去打造的Chatbot接上ChatGPT,使用供應商提供的服務,來發展生成式AI。
這個戰略轉向看似單純,卻是玉山在AI發展上迎來的一次大轉變。
2021年立下三年AI願景,發展NLP技術自建多個Chatbot
早在2021年,玉山就訂下了三年AI願景,當時,他們將自然語言處理(NLP)技術作為AI發展核心,圍繞Chatbot發展相關應用,除了要全面使用Chatbot,抓住顧客意圖,還要大量分析語音客服,不只做數位導流還要調整服務,更要打造24小時全智能語音Chatbot。
玉山過去靠NLP技術開發出玉山小i隨身金融顧問,能一次回答房貸評估、外匯諮詢和信用卡推薦3大問題。當時,為了開發出這個Chatbot,他們組了40人團隊發想Chatbot應用場景,找來外部廠商進行各項測試,完成這款Chatbot,為了持續精進技術力,還找上臺大自然語言處理實驗室,鎖定使用者意圖分析與偵測技術,要從使用者在各種公開網路平臺上的異質源資料,來探索、拼湊出完整使用者資訊,建立更好的預測模型。
這些經驗讓玉山團隊培養了豐富的NLP能力,玉山團隊還進一步深化NLP客服應用,自己建立一套NLP模型,來分析每通客服通話、判斷顧客遭遇的問題,並以簡訊發送相關連結和使用教學,來給顧客參考。他們甚至要進一步發展語音生成,開發一套語音引擎,讓自動撥號系統能以語音方式提供顧客一次性密碼(OTP)。
玉山希望以NLP技術作為核心,來發展自己的AI藍圖,但是,隨著更進階的NLP模型—LLM模型橫空出世,玉山想快速擁抱對話水準更高的生成式AI,就不得不放棄自建模型的策略,轉而使用科技大廠提供的服務來使用LLM模型。
玉山下一步是將生成式AI走向業務
玉山能直接面對這項挑戰,奠定在過往累積的AI基礎。去年三月,張智星就強調,AI策略的轉變,不會讓他們過去的投入白費,「正因為先打下了基礎設施,當ChatGPT出現後,很順利就能銜接。」張智星指出。
張智星所說的基礎設施之一,就是玉山在2019年所打造的機器學習即服務(MLaaS)平臺,採API形式提供AI服務,這個平臺成了後來玉山各項AI落地的關鍵。
隨著玉山新一代核心系統在2020年上線,原本大型主機的「大核心」模式,轉換為小核心的微服務架構和開放式平臺之後,玉山不只能更快速更迭服務,也更容易共享資料。為了因應快速增加的數據量和AI應用規模,玉山在2021年,重新改造MLaaS平臺,推出2.0版,改採用微服務架構,來增加平臺資源調度彈性,這個關鍵改變,讓玉山有能力走向雲端,也是玉山能快速銜接生成式AI服務的主因之一。
兩年前,玉山就開始布局生成式AI。他們從導入生成式AI至單一應用,一路發展出多個應用服務。去年下半年,玉山打造出通用型GenAI平臺GENIE,並開始在內部測試,蒐集使用資料,了解適合運用生成式AI的潛在場景。到了今年初,玉山正式推出GENIE平臺,行員能透過API串接使用生成式AI服務,來加速各項工作流程。
目前,玉山利用GENIE平臺推出11項生成式AI應用服務,開放全行行員使用,另有1項服務正在開發中。這12項應用服務可分為基礎和進階應用服務。起初,玉山僅單純將GENIE平臺介接LLM模型服務,提供基礎版應用服務,例如,純文字和圖片生成、會議記錄生成和摘要總結翻譯等,每項應用服務都能適用於多種場景。
隨著平臺蒐集更多資料,玉山以「工人智慧」逐筆查看行員查詢的內容,挖掘使用者常在哪些情境下使用特定應用服務,接著針對場景開發進階版應用服務,整合行內知識庫和檢索增強生成(RAG)技術,提升平臺在特定場景的服務能力。
去年金管會鬆綁上雲規範,開放金融機構能將非涉及重大消金業務的系統遷至公雲,玉山團隊也開始籌劃讓GENIE平臺的架構能上公雲,把平臺轉為混合雲架構。預計最快今年中就會推出新一代GENIE平臺。
目前,玉山仍在蒐集更多適用生成式AI的場景,他們不僅關注舊場景,也在探索因新技術誕生的新場景。「我們要用新架構瞄準新場景,先從RAG開始。」玉山銀行智能金融處資深副總工程師林鉦育說。
放眼今年,玉山的生成式AI發展目標是「走向業務」。一方面,經過去年的摸索和測試,玉山逐漸了解生成式AI的運作模式,另一方面,在金管會公布金融AI指引後,玉山會以此指引為基礎,來發展自己的生成式AI應用,將這項技術推向內部使用的業務場景,讓生成式AI在玉山逐漸開枝散葉。
玉山高層大力支持生成式AI
玉山金控董事長黃男州提出AI未來發展的三個重要角色,分別是智能夥伴、溝通大師,和時光壓縮機。攝影/洪政偉
玉山能快速因應生成式AI浪潮轉變策略,除了仰賴過去奠定的技術基礎,更重要的是高層對AI的支持。
今年二月,玉山金控董事長黃男州在法說會前記者會中,提出他對生成式AI的看法。「AI可能在未來發展進程會有幾個重要角色。」黃男州點出,AI可能擔任的第一個角色是智能夥伴,能和人類共同進行創造。第二個是溝通大師,能在物聯網中協助人與物溝通。第三,是時光壓縮機,能處理許多過去需耗費大量時間學習的產業知識。最後,黃男州也表示,AI將和雲端結合,因此雲端也是重要議題。
玉山金控科技長張智星事後解釋這三個想像的實現方式。智能夥伴類似副駕駛(copilot),能協助人類完成工作。溝通大師的模式,類似透過GPT模型從物連網抓取各種感應器資料,向使用者摘要設備運作情況。時光壓縮機意謂加速學習,例如,過往學習英文須要花費大量時間查找字典,但現在透過ChatGPT就能修改文法和用字錯誤,節省大量時間,提升了學習效率。
「我們三不五時都會和他(黃男州)溝通,說明技術進步到哪個階段。」張智星表示,玉山的技術團隊時常和黃男州溝通新技術,當團隊詢問高層建議,黃男州也會提供回饋。但,張智星表示,「事前並不知道董事長會說這些。」
ChatGPT誕生後,大眾對生成式AI技術並不陌生,更容易發想應用場景,另一方面,玉山大力發展AI,高層和技術團隊長期溝通,培養絕佳的默契,所以,當玉山技術團隊開始跨足生成式AI,不需要解釋太多技術細節,高層也能自己展開技術發展的願景,描繪AI藍圖。
「董事長會自己想像應用場景。」例如,團隊曾和黃男洲提到生成式AI可以用來摘要會議記錄,「他很興奮地說,這樣可以整理每個人說的內容,列出待辦事項。」張智星回憶道。
有了高層的支持,玉山科技團隊更放心創新。「其實,很多細節董事長幫我們補全了。」張智星說。例如,技術團隊曾提出,將OCR掃描後的文件轉換成文字後,可以使用LLM模型進行修改。當時,黃男州則提議,利用公司30年來累積的文件建立知識庫,協助企金業務整合客戶資料,快速整理上下游公司之間的關係。
當時的提議,也成為玉山今年計畫發展的重點應用之一。今年,玉山計畫透過LLM模型協助企金業務整理客戶資訊,將企業客戶在網上的資料納入系統,包括公司財報、年報和新聞稿等資料,以及上下游相關企業資訊,建立徵審文件草稿,加速企金業務的徵信工作流程。
這個例子也顯示,生成式AI浪潮的關鍵,並非僅是發展技術能力,更多來自高層和業務團隊的加入,共同想像更多應用場景,提供技術團隊素材向前推進。因此,ChatGPT爆紅後,玉山接著在內部舉辦黑客松活動,邀請副總級高層,共同了解AI,發想更多應用場景。
玉山生成式AI發展歷程
2017年
組織 成立創新實驗室,鑽研AI、區塊鏈、身分辨識、電子支付等前瞻技術
應用 推出玉山小i隨身金融顧問,為大中華地區第一個金融Chatbot
圖片來源/玉山金控
2018年
戰略 定調玉山AI發展,終止多個千萬元等級專案,改將資源投注在AI上
組織 成立科技長辦公室
攝影/王宏仁
技術與架構 開始建置MLaaS平臺、AI研發雲
2019年
組織 大數據分析團隊CRV轉型為智能金融處,負責開發AI應用
技術與架構 MLaaS 1.0平臺上線,提供AI推論、模型訓練、資料ETL等三大類服務
圖片來源/玉山金控
應用 信用卡盜刷偵測模型、票據手寫辨識模型上線
2020年
組織 成立資料治理專責小組,推動規範和分級
技術與架構
●新一代銀行核心系統上線,全面API化、加速資料累積和運用能力
●決定將MLaaS平臺底層部署至Kubernetes(簡稱K8s),打造MLaaS 2.0平臺
2021年
組織 展開29年來最大一次組織改造、組成千人科技聯隊,形成資訊處、數金處與智金處的鐵三角組織
圖片來源/玉山金控
戰略 訂定AI三年願景,以自然語言處理(NLP)技術作為關鍵技術核心,圍繞Chatbot發展相關應用
技術與架構 MLaaS 2.0平臺上線,擁抱K8s、容器等主流開源工具,引進多項自動化機制
圖片來源/玉山金控
應用 推出數位導流系統平臺、單一大影像模型、推薦系統Smart Channel、數存秒開服務
2022年
戰略 生成式AI爆紅,玉山開始布局生成式AI發展
2023年上半年
戰略 玉山決定不走自建LLM模型的策略,改為採用廠商提供的商用生成式AI服務
技術與架構 開始打造玉山生成式AI平臺GENIE
應用 KYC調查開始嘗試用生成式AI
2023年下半年
組織 制定生成式AI執行內規
技術與架構
● 玉山生成式AI平臺GENIE開始測試
● 因應金融上雲鬆綁,MLaaS 2.0平臺轉為混合雲架構
應用 對外展示用GPT模型打造的智能法律回覆生成系統
攝影/李昀璇
2024年年初
技術與架構 正式啟用GENIE平臺(除音檔、影像萃取服務尚在開發),整合行內知識庫
應用 向內部推出11項生成式AI應用服務,包括純文字和圖片生成、會議記錄生成服務、摘要總結翻譯、分類和分析,和Chatbot知識搜索服務
圖片來源/玉山金控
資料來源:玉山金控,iThome整理,2024年4月
熱門新聞
2024-09-29
2024-10-01
2024-10-01
2024-10-01
2024-10-01
2024-10-03
2024-09-29