彙整5百家媒體上千篇最新金融報導，永豐銀先推金融市場GAI摘要服務

GAI技術爆紅後，不僅讓技術人員感到興奮，就連金融業中的業務單位，也對這項技術充滿期待。永豐銀行財富金融處處長蔡隆裕就認為，GAI能發展許多應用，「想像空間非常大。」永豐銀行鎖定的第一項關鍵應用，便是運用GAI來提供金融市場資訊摘要。

為何先從這項應用起步？蔡隆裕解釋，過往銀行提供客戶各種金融市場研究資訊時，往往面臨兩大痛點。第一，產出研究報告的人力有限，無法快速針對多個市場發表看法。第二，研究人員和客戶關注的消息不完全一致，這就導致，研究人員產出的報告，未必都能貼合客戶需求。例如，當市場出現波動，銀行客戶可能想了解，特定人物的言論是否會影響市場趨勢，「但如果研究人員認為這些言論不影響他們既有看法，可能就不對特定事件進行分析。」蔡隆裕說。

看上GAI的摘要能力，永豐銀行設定了兩個開發目標。第一，能用同一套方法論處理多個市場，快速提供多個市場資訊。第二，針對民眾在意的事件提供見解。

今年八月，永豐銀行率先將生成式AI用在對外服務，推出一項名為「投資水晶球」的服務，透過彙整國內外超過500個媒體平臺數千篇最新報導，再依照臺灣、美國與中國三大市場，各別提供約1,000字的市場趨勢摘要，並在十月初新增了日本和印度市場報告。

這項服務每兩日更新一次，每次更新，都會根據近5日新聞提供多個市場趨勢摘要。摘要內容包括列出影響市場變動的因素，和提供可密切關注的趨勢和議題，以及總結市場趨勢。

這項應用功能看似單純，背後其實投入了大量資源，永豐銀行集合了資訊處、財富金融處、綜合企劃處等單位，組成跨部門專案團隊，並和永豐金控、永豐投顧合作，每月舉辦一次專案會議，跨部門人員共同針對模型回應和指令提供意見，來確保服務上線後不會產生疑慮。

跨部門專案團隊每月開會討論模型回應和提示內容

永豐銀過往的AI專案多由金控技術單位負責，但這款GAI應用，改由該行綜合企劃處負責執行專案，採用了提示工程，主要由專案團隊人員撰寫提示指令。

金控技術單位會提供初版提示，專案人員接著利用員工專用GAI小幫手，測試想調整的提示詞，完成一個版本後，交由開發人員在正式環境中執行提示，再由專案人員檢視執行結果。反覆執行這個過程，直到模型回應達到理想程度。永豐金控技術單位會從旁提供提示詞修改建議，如增加參數限制。

永豐銀行綜合企劃處處長王筱嵐表示，專案團隊每月專案會議中，會針對模型指令和回應進行討論，並給予修改意見，「絕不是單一部門決定整套指令。」專案團隊還徵求法遵意見，確保對外GAI服務合規性。

從產品發想到正式上線只花了半年。開發期間，永豐銀行同步進行調查，收集超過8千條客戶意見，來了解市場接受度，上線前更找來2千名客戶試用實測，確認滿意度後，才正式推出。

為了打造這項對外GAI服務，永豐銀行組成跨部門專案團隊，定期召開專案會議討論模型回應和指令。圖左為永豐銀行財富金融處處長蔡隆裕，圖中為永豐銀行資訊處處長沈志成，圖右為永豐銀行綜合企劃處處長王筱嵐。

先用新聞篩選模型找出重要新聞，再運用多階段提示詞完成開發

每一份市場摘要報告中，看上去，僅是一串摘要文字，實則處理了國內外超過500個媒體平臺的上千篇最新的新聞，背後涉及了大量資料處理工程。

起初，專案團隊僅使用一段式指令打造這項應用，但效果並不理想。第一個挑戰，是模型難以根據即時性，來排序新聞資訊的重要性。「對GAI來說，五天的新聞資訊都是等值。」蔡隆裕解釋，在沒有設定任何參數的情況下，模型可能摘要五日前的新聞，也可能僅摘要近一日的資訊，「這就不是我們想呈現給客戶的資訊。」

第二個挑戰，是模型回應對市場趨勢看法飄忽不定。蔡隆裕解釋，由於新聞報導容易受到市場波動影響，「如果大漲大跌，當天新聞就會寫得很熱烈，且新聞內容可能較多，但如果當天波動小，新聞內容可能就比較簡單、平淡。」這項問題，導致LLM模型輸出的摘要，難以形成一致性的見解。

為了解決這些挑戰，專案團隊在處理新聞資料篩選下了許多功夫。首先，團隊把近五日的新聞資料向量化，並進行向量化匹配，從中篩選出最相關的新聞，進行第一階段的雜訊過濾，去除重要性較低的新聞。接著，團隊運用一個參數模型，對過濾出的新聞資料進行時間權重計算。這個模型主要負責新聞篩選，可以用來確保LLM模型在生成摘要時，會優先採用應關注的新聞。

運用模型篩選出應採用的新聞資訊後，團隊才開始運用多段式提示詞，來完成這項應用開發。在提示詞中，團隊過指示模型分段撰寫，以及每一段應闡述的重點，來提高模型回覆的專業度和可讀性。並且，團隊也將永豐投顧的未來展望化為一套參數，在提示詞中要求參考這項參數，來確保模型回應不會僅依照新聞字面內容生成回應，而是針對特定事件提供專業性較高的見解。

雖然服務已經正式上線，專案團隊仍持續持續提升模型篩選新聞的能力、修改提示詞，並測試新推出的LLM，若新版模型效果較強，則會改為採用更新的模型服務。

從單一應用起步，永豐銀行要建立共用GAI平臺加速業務發展GAI應用

GAI摘要的資料，不只用於這項服務，永豐銀行計畫擴大發展成一個可再利用的共用知識庫。永豐銀行資訊處處長沈志成解釋，未來，其他單位不用從頭處理，直接篩選或重新撰寫提示詞，就能生成新的資訊。

不只如此，以這項關鍵應用為基礎，永豐銀行正逐步發展出一套全行共用的GAI平臺，能彙整各種GenAI服務和共用知識庫，提供行內各業務單位快速打造GAI應用。而市場資訊摘要，正是建立在這個共用平臺上的第一支服務。

沈志成解釋，這套共用平臺具備彈性擴充特性，採用模組化設計，能提供使用者快速選用功能模組來開發GAI應用，包括資料庫搜索、內容生成，和Copilot應用等模組。對業務單位而言，這套共用平臺就是一支API，能串接多種API服務，例如市場資訊摘要API、程式生成API，和內部知識顧問API。「（共用平臺）類似一套中臺服務，全行各個系統都可以透過API介接，來使用生成式AI功能。」沈志成說。

永豐銀行資訊處處長沈志成表示，永豐銀行正逐步發展出一套全行共用的GAI平臺，能提供行內各業務單位快速打造GAI應用。

這套共用平臺也包含權限設置，除了針對模型輸入和輸出內容進行把關，也設計成本控管機制，能統計各單位token使用次數，和使用模型服務的開銷。

為了打造這套共用平臺，永豐銀行資訊團隊正在克服諸多挑戰。由於開發生成式AI應用所需的資料來自多個管道，需要運用雲端服務或爬蟲技術來蒐集、彙整資料，如何有效收集並管理來自不同來源的資訊，便是其中一項挑戰。

此外，資訊團隊批次處理資料的過程中，如何確保資料能順利流動是一大關鍵。甚至，當使用者在資料更新的過程中取用資料，如何設置適當的處理機制，也是資訊團隊需要處理的重要議題。文⊙李昀璇