玉山怎麼用GenAI？12項應用服務大解析

去年11月，玉山在一場公開活動中展示一個生成式AI應用服務——智能法律回覆生成系統，提供內部行員快速檢索法規內容。系統介面是一個Chatbot，當行員輸入法遵相關提問，介面上會顯示簡短回覆和法源依據，並提供內外規範的法條比對，協助行員快速掌握內外規範，因應外部變動調整內部法規。

這個案例不只是玉山發展的唯一一項生成式AI服務。經過一年來的開發、測試，今年初，玉山正式對內推出通用型GenAI平臺GENIE，開放行員使用11項生成式AI應用服務，另有1項服務正在開發中。

這12項應用服務中，可區分為基礎和進階應用服務。起初，玉山僅單純將GENIE平臺介接LLM模型服務，提供基礎版應用服務，例如，純文字和圖片生成、會議記錄生成和摘要總結翻譯等，每項應用服務都能適用於多種場景。

隨著平臺收到更多使用資料，玉山開始挖掘使用者常在哪些情境下使用特定應用服務，接著針對場景開發進階版應用服務，提升平臺在特定場景的服務能力。例如，法規文件比對、市場資訊摘要和生成，或運用客服資料進行顧客情緒分析。

基礎和進階應用服務各有6項

玉山規畫的基礎應用服務共有6項，最基礎的服務包括純文字和圖片生成、會議記錄生成服務，複雜度一路提升，從摘要總結翻譯、分類和分析，到Chatbot知識搜索，最後則是支援非文字形式的音檔、影像資料萃取服務。目前，玉山將基礎服務延伸至特定場景，開發出6項進階應用服務。其中，摘要總結翻譯的進階服務有1項，分類和分析的進階服務有3項，Chatbot知識搜索的進階服務則有2項。

相比最常見的純文字生成、會議記錄生成服務，摘要總結翻譯服務的定位是解讀大量文件，提取出重要資訊。玉山選擇將摘要總結翻譯服務延伸至KYC（know your customer）調查場景，協助摘要和生成市場資訊，結合RPA技術，不僅能快速蒐集、摘要客戶的負面新聞，還能定期產出客戶交易對手的負面新聞和報告。這項進階應用服務能協助理專人員快速撰寫徵審報告，也能協助一般銀行行員掌握時事對金融產品帶來的衝擊。

選定技術開發、客服和商業數據分析場景，發展進階分類和分析應用服務

分類和分析則是更進階的摘要總結翻譯服務，匯入資料形式不局限於文字，還包括數據、程式碼，這項服務是運用LLM模型理解大量文件和數據資料後，協助快速歸類，同時提供對數據、程式碼的分析解讀。玉山看準3種應用場景，發展出3項分類和分析的進階服務，分別是程式碼教學服務、數據分析與教學，和顧客情緒分析。

第一種場景是技術開發，玉山發展程式碼教學服務，當技術人員在開發時面對卡關情況，可以藉由LLM模型服務提供教學指示，或是用來分析結構較複雜的程式碼，並提供建議註解，加速開發流程。玉山金控科技長張智星指出，完全讓模型生成程式碼，反而容易出錯。因此，玉山並未發展程式碼生成工具，而是開發程式碼教學服務。

第二種場景是客服應用。玉山推出導入生成式AI的顧客情緒分析服務，不僅能協助行員分析來自客服Chatbot和留言板的文字訊息，也能將語音訊息轉為文字，讓行員直接從文字來分析顧客情緒和進線意圖。未來，玉山預計使用生成式AI提升原有的意圖判斷模型，精準導流進線意圖較特殊的顧客。

第三種場景是協助業務分析商業數據。玉山開發數據分析與教學服務，協助行員快速分析表格資料，了解資料潛藏趨勢。例如，信用卡刷卡資料包含顧客ID、刷卡時間、特店和金額等欄位，行員可以將顧客信用卡刷卡資料匯入LLM模型服務，分析特定顧客樣態行為模式。

建立Chatbot協助知識庫搜索，首先提供內部行員搜尋法規文件、產品優惠訊息和教育訓練講義

Chatbot知識搜索結合了知識庫和搜尋功能，可以協助摘要、分類和分析大量文件，更重要的是，能讓使用者以簡短的文字提問快速掌握大量文件。這個基礎應用服務運用LLM模型服務和檢索增強生成（RAG）技術，蒐集和彙整大量文件資料或網路新聞資訊，並以Chatbot形式提供內部使用者查詢。系統會根據使用者的提問提供簡短回覆，協助行員省下翻閱大量文件資料的時間。

針對Chatbot知識搜索，玉山鎖定兩個場景開發進階服務，分別是提供內部員工使用的智能客服與專業知識庫搜尋，和法規文件比對服務。前者目前提供行員搜尋金融產品優惠訊息，以及協助新進行員快速查詢教育訓練講義和文件，提升訓練成效。後者則是當行員遇上法遵問題時，可以快速查詢法源依據，了解公司內部法條和外部規範，進一步衡量是否須因應外規變動調整內規。

最後一項基礎服務是音檔、影像資料萃取，當使用者輸入音訊或影片時，LLM模型服務會將語音或影片轉為文字，接著回應使用者針對輸入資料的提問。這項應用服務目前尚在開發中，還未提供內部使用。

除了現有服務，玉山預計在今年發展更多進階應用服務。

他們計畫要提升會議記錄摘要功能，讓模型能讀懂會議中出現的專有名詞，例如能辨識出產品名稱，甚至是分辨出發言者身份，以及透過LLM協助企金業務整理客戶資訊，將企業客戶在網上的資料納入系統，包括公司財報、年報和新聞稿等資料，以及上下游相關企業資訊，建立徵審文件草稿，加速企金業務的徵信工作流程。技術上，玉山也期望能發展出多輪對話功能，創造更多應用服務。

  玉山12項GenAI應用服務介紹  

　基礎應用服務：　功能說明　

純文字和圖片生成類：生成文字和圖片

會議記錄生成：快速摘要會議內容

摘要總結翻譯：摘要、總結、翻譯大量文件資料

Chatbot知識搜索：運用LLM模型服務和RAG技術，蒐集和彙整大量文件資料或網路新聞資訊，並以chatbot形式提供服務，系統會根據使用者輸入的問題提供回覆

分類／分析：運用LLM模型服務來快速分類或分析大量資料

音檔、影像資料萃取：當使用者輸入音訊或影片時，LLM模型服務會將語音或影片轉為文字，並回應使用者對輸入資料的提問

　進階應用服務：　功能說明和應用場景　

程式碼教學：分類／分析的進階服務，使用生成式AI來分析較複雜的程式碼，並提供註解建議，或是當技術人員開發時卡關，可以使用生成式AI提供教學指示，來輔助開發 

智能客服／專業知識庫搜尋：Chatbot知識搜索的進階服務，供內部行員搜尋金融產品優惠訊息，或是協助新進行員搜尋教育訓練講義和文件 

法規文件比對：Chatbot知識搜索的進階服務，可供行員搜尋和比對內部規範和外部規範 

市場資訊摘要／生成：摘要總結翻譯的進階服務，可供行員快速彙整產業和新聞資訊和趨勢，主要應用在KYC調查。也可以協助行員快速掌握時事對金融產品的衝擊 

數據分析與教學：分類／分析的進階服務，協助行員快速分析表格資料，了解資料潛藏的趨勢。例如，信用卡刷卡資料包含顧客ID、刷卡時間、特店和金額等欄位，行員可將顧客的信用卡刷卡資料匯入LLM模型服務，分析特定顧客樣態的行為模式 

顧客情緒分析：分類／分析的進階服務，協助行員分析來自客服Chatbot和留言板的文字訊息，也能將語音訊息轉為文字，讓行員直接從文字分析顧客情緒和進線意圖 

 相關報導