玉山開始擁抱生成式AI，今年目標要走向業務

2022年11月，ChatGPT橫空出世，全球掀起了生成式AI浪潮，各行各業開始研究創新應用，金融業也不例外地投入研發能量。隔年三月中，短短一周內，OpenAI推出GPT-4模型、圖像生成工具Midjourney v5釋出，更有百度推出中國版ChatGPT文心一言，用來對抗ChatGPT。AI的快速進展再次震撼全球，連掌舵全集團多年AI發展的玉山金控科技長張智星，在那一周的心情，都興奮地「難以入睡」。

在臺灣，玉山金控是第一批率先採用微軟ChatGPT方案的金融業者。早在2023年三月初，微軟Azure OpenAI服務推出沒多久，張智星和團隊就立刻展開評估，篩選使用場景，最後決定先將ChatGPT用於內外部的KYC調查應用上，幫助銀行行員從大量新聞內容中，找出開戶顧客有無負面行為或記錄的資訊。實際採用後，開戶時間從原本的30分鐘，縮短到只要幾分鐘，大大減少了開戶顧客的等待時間。

當時，張智星就透露，玉山AI團隊採用ChatGPT技術前，曾評估過，能不能建立玉山自己的ChatGPT，也就是先自建一套LLM模型，再用來開發Chatbot應用。不過，玉山團隊很快意識到，訓練LLM模型不僅需要龐大算力，還很燒錢，不是一般企業可以自己來。

他以當時玉山的算力資源來估算，若要訓練出媲美ChatGPT的對話水準，就算投入所有算力，也要一到兩年才能訓練出LLM模型。單是訓練一次GPT-3模型的成本就要140萬美元，若是參數量更大的LLM模型，訓練成本更是要花費200萬美元到1,200萬美元之間，價格非常昂貴。

發現自建模型這條路不可行，玉山很快地調整策略。當時，張智星指出，他們要直接善用ChatGPT在對話式AI的卓越能力，讓玉山把同類型AI應用發揮得更好。例如，將玉山過去打造的Chatbot接上ChatGPT，使用供應商提供的服務，來發展生成式AI。

這個戰略轉向看似單純，卻是玉山在AI發展上迎來的一次大轉變。

2021年立下三年AI願景，發展NLP技術自建多個Chatbot

早在2021年，玉山就訂下了三年AI願景，當時，他們將自然語言處理（NLP）技術作為AI發展核心，圍繞Chatbot發展相關應用，除了要全面使用Chatbot，抓住顧客意圖，還要大量分析語音客服，不只做數位導流還要調整服務，更要打造24小時全智能語音Chatbot。

玉山過去靠NLP技術開發出玉山小i隨身金融顧問，能一次回答房貸評估、外匯諮詢和信用卡推薦3大問題。當時，為了開發出這個Chatbot，他們組了40人團隊發想Chatbot應用場景，找來外部廠商進行各項測試，完成這款Chatbot，為了持續精進技術力，還找上臺大自然語言處理實驗室，鎖定使用者意圖分析與偵測技術，要從使用者在各種公開網路平臺上的異質源資料，來探索、拼湊出完整使用者資訊，建立更好的預測模型。

這些經驗讓玉山團隊培養了豐富的NLP能力，玉山團隊還進一步深化NLP客服應用，自己建立一套NLP模型，來分析每通客服通話、判斷顧客遭遇的問題，並以簡訊發送相關連結和使用教學，來給顧客參考。他們甚至要進一步發展語音生成，開發一套語音引擎，讓自動撥號系統能以語音方式提供顧客一次性密碼（OTP）。

玉山希望以NLP技術作為核心，來發展自己的AI藍圖，但是，隨著更進階的NLP模型—LLM模型橫空出世，玉山想快速擁抱對話水準更高的生成式AI，就不得不放棄自建模型的策略，轉而使用科技大廠提供的服務來使用LLM模型。

玉山下一步是將生成式AI走向業務

玉山能直接面對這項挑戰，奠定在過往累積的AI基礎。去年三月，張智星就強調，AI策略的轉變，不會讓他們過去的投入白費，「正因為先打下了基礎設施，當ChatGPT出現後，很順利就能銜接。」張智星指出。

張智星所說的基礎設施之一，就是玉山在2019年所打造的機器學習即服務（MLaaS）平臺，採API形式提供AI服務，這個平臺成了後來玉山各項AI落地的關鍵。

隨著玉山新一代核心系統在2020年上線，原本大型主機的「大核心」模式，轉換為小核心的微服務架構和開放式平臺之後，玉山不只能更快速更迭服務，也更容易共享資料。為了因應快速增加的數據量和AI應用規模，玉山在2021年，重新改造MLaaS平臺，推出2.0版，改採用微服務架構，來增加平臺資源調度彈性，這個關鍵改變，讓玉山有能力走向雲端，也是玉山能快速銜接生成式AI服務的主因之一。

兩年前，玉山就開始布局生成式AI。他們從導入生成式AI至單一應用，一路發展出多個應用服務。去年下半年，玉山打造出通用型GenAI平臺GENIE，並開始在內部測試，蒐集使用資料，了解適合運用生成式AI的潛在場景。到了今年初，玉山正式推出GENIE平臺，行員能透過API串接使用生成式AI服務，來加速各項工作流程。

目前，玉山利用GENIE平臺推出11項生成式AI應用服務，開放全行行員使用，另有1項服務正在開發中。這12項應用服務可分為基礎和進階應用服務。起初，玉山僅單純將GENIE平臺介接LLM模型服務，提供基礎版應用服務，例如，純文字和圖片生成、會議記錄生成和摘要總結翻譯等，每項應用服務都能適用於多種場景。

隨著平臺蒐集更多資料，玉山以「工人智慧」逐筆查看行員查詢的內容，挖掘使用者常在哪些情境下使用特定應用服務，接著針對場景開發進階版應用服務，整合行內知識庫和檢索增強生成（RAG）技術，提升平臺在特定場景的服務能力。

去年金管會鬆綁上雲規範，開放金融機構能將非涉及重大消金業務的系統遷至公雲，玉山團隊也開始籌劃讓GENIE平臺的架構能上公雲，把平臺轉為混合雲架構。預計最快今年中就會推出新一代GENIE平臺。

目前，玉山仍在蒐集更多適用生成式AI的場景，他們不僅關注舊場景，也在探索因新技術誕生的新場景。「我們要用新架構瞄準新場景，先從RAG開始。」玉山銀行智能金融處資深副總工程師林鉦育說。

放眼今年，玉山的生成式AI發展目標是「走向業務」。一方面，經過去年的摸索和測試，玉山逐漸了解生成式AI的運作模式，另一方面，在金管會公布金融AI指引後，玉山會以此指引為基礎，來發展自己的生成式AI應用，將這項技術推向內部使用的業務場景，讓生成式AI在玉山逐漸開枝散葉。

    玉山高層大力支持生成式AI    

玉山金控董事長黃男州提出AI未來發展的三個重要角色，分別是智能夥伴、溝通大師，和時光壓縮機。攝影／洪政偉

玉山能快速因應生成式AI浪潮轉變策略，除了仰賴過去奠定的技術基礎，更重要的是高層對AI的支持。

今年二月，玉山金控董事長黃男州在法說會前記者會中，提出他對生成式AI的看法。「AI可能在未來發展進程會有幾個重要角色。」黃男州點出，AI可能擔任的第一個角色是智能夥伴，能和人類共同進行創造。第二個是溝通大師，能在物聯網中協助人與物溝通。第三，是時光壓縮機，能處理許多過去需耗費大量時間學習的產業知識。最後，黃男州也表示，AI將和雲端結合，因此雲端也是重要議題。

玉山金控科技長張智星事後解釋這三個想像的實現方式。智能夥伴類似副駕駛（copilot），能協助人類完成工作。溝通大師的模式，類似透過GPT模型從物連網抓取各種感應器資料，向使用者摘要設備運作情況。時光壓縮機意謂加速學習，例如，過往學習英文須要花費大量時間查找字典，但現在透過ChatGPT就能修改文法和用字錯誤，節省大量時間，提升了學習效率。

「我們三不五時都會和他（黃男州）溝通，說明技術進步到哪個階段。」張智星表示，玉山的技術團隊時常和黃男州溝通新技術，當團隊詢問高層建議，黃男州也會提供回饋。但，張智星表示，「事前並不知道董事長會說這些。」

ChatGPT誕生後，大眾對生成式AI技術並不陌生，更容易發想應用場景，另一方面，玉山大力發展AI，高層和技術團隊長期溝通，培養絕佳的默契，所以，當玉山技術團隊開始跨足生成式AI，不需要解釋太多技術細節，高層也能自己展開技術發展的願景，描繪AI藍圖。

「董事長會自己想像應用場景。」例如，團隊曾和黃男洲提到生成式AI可以用來摘要會議記錄，「他很興奮地說，這樣可以整理每個人說的內容，列出待辦事項。」張智星回憶道。

有了高層的支持，玉山科技團隊更放心創新。「其實，很多細節董事長幫我們補全了。」張智星說。例如，技術團隊曾提出，將OCR掃描後的文件轉換成文字後，可以使用LLM模型進行修改。當時，黃男州則提議，利用公司30年來累積的文件建立知識庫，協助企金業務整合客戶資料，快速整理上下游公司之間的關係。

當時的提議，也成為玉山今年計畫發展的重點應用之一。今年，玉山計畫透過LLM模型協助企金業務整理客戶資訊，將企業客戶在網上的資料納入系統，包括公司財報、年報和新聞稿等資料，以及上下游相關企業資訊，建立徵審文件草稿，加速企金業務的徵信工作流程。

這個例子也顯示，生成式AI浪潮的關鍵，並非僅是發展技術能力，更多來自高層和業務團隊的加入，共同想像更多應用場景，提供技術團隊素材向前推進。因此，ChatGPT爆紅後，玉山接著在內部舉辦黑客松活動，邀請副總級高層，共同了解AI，發想更多應用場景。

   玉山生成式AI發展歷程   

 2017年 

 組織  成立創新實驗室，鑽研AI、區塊鏈、身分辨識、電子支付等前瞻技術

 應用  推出玉山小i隨身金融顧問，為大中華地區第一個金融Chatbot

圖片來源／玉山金控

 2018年 

 戰略  定調玉山AI發展，終止多個千萬元等級專案，改將資源投注在AI上

 組織  成立科技長辦公室

攝影／王宏仁

 技術與架構  開始建置MLaaS平臺、AI研發雲

 2019年 

 組織  大數據分析團隊CRV轉型為智能金融處，負責開發AI應用

 技術與架構  MLaaS 1.0平臺上線，提供AI推論、模型訓練、資料ETL等三大類服務

圖片來源／玉山金控

 應用  信用卡盜刷偵測模型、票據手寫辨識模型上線

 2020年 

 組織  成立資料治理專責小組，推動規範和分級

 技術與架構  

●新一代銀行核心系統上線，全面API化、加速資料累積和運用能力

●決定將MLaaS平臺底層部署至Kubernetes（簡稱K8s），打造MLaaS 2.0平臺

 2021年 

 組織  展開29年來最大一次組織改造、組成千人科技聯隊，形成資訊處、數金處與智金處的鐵三角組織

圖片來源／玉山金控

 戰略  訂定AI三年願景，以自然語言處理（NLP）技術作為關鍵技術核心，圍繞Chatbot發展相關應用

 技術與架構  MLaaS 2.0平臺上線，擁抱K8s、容器等主流開源工具，引進多項自動化機制

圖片來源／玉山金控

 應用  推出數位導流系統平臺、單一大影像模型、推薦系統Smart Channel、數存秒開服務

 2022年 

 戰略  生成式AI爆紅，玉山開始布局生成式AI發展

 2023年上半年 

 戰略  玉山決定不走自建LLM模型的策略，改為採用廠商提供的商用生成式AI服務

 技術與架構  開始打造玉山生成式AI平臺GENIE

 應用  KYC調查開始嘗試用生成式AI

 2023年下半年 

 組織  制定生成式AI執行內規

 技術與架構  

● 玉山生成式AI平臺GENIE開始測試

● 因應金融上雲鬆綁，MLaaS 2.0平臺轉為混合雲架構

 應用  對外展示用GPT模型打造的智能法律回覆生成系統

攝影／李昀璇

 2024年年初 

 技術與架構  正式啟用GENIE平臺（除音檔、影像萃取服務尚在開發），整合行內知識庫

 應用  向內部推出11項生成式AI應用服務，包括純文字和圖片生成、會議記錄生成服務、摘要總結翻譯、分類和分析，和Chatbot知識搜索服務

圖片來源／玉山金控

資料來源：玉山金控，iThome整理，2024年4月

 相關報導