早在2020年，永豐金控就定調以AI做為集團數位轉型核心。四年來，永豐內部累積超過百個AI專案，使用超過上百個AI模型。GAI爆紅後，永豐快速跟上趨勢，甚至是臺灣第一批將GAI運用在對外服務的企業。

除了在銀行對內推出員工專用GAI小幫手，輔助員工日常工作任務。近期，永豐銀行和永豐金證券更進一步推出面對顧客的GAI服務，前者提供顧客上千篇國內外新聞資料的市場資訊摘要，後者運用生成式AI彙整市場資訊，提供個股新聞摘要和市場輿情分析。

為了打造GAI應用，永豐也嘗試不少現成開發框架，例如LangChain發展早期，永豐就開始採用。不過，走的早，也讓永豐面臨不少挑戰。首先，永豐採用的GAI開發框架快速迭代，徒增不少開發團隊的維運工作。例如LangChain框架向下相容性差，不僅新舊版本互不相容，甚至有幾次改版，讓永豐開發團隊不得不重構原有開發邏輯，造成不少開發困擾。

為了應對現成GAI開發工具的不穩定，永豐透過增加抽象層，來運用不同開發框架，避免被既有開發框架綁住。考量專案特性，永豐還會採用不同的開發框架。例如，對外的GAI應用，永豐會採用大型科技業者的技術架構，確保服務穩定性，對內的小型專案，則鼓勵開發團隊嘗試各種開發框架來練功。

不過，永豐金控科技長張天豪強調，嘗試多框架是階段性做法，未來會減少所用的技術框架，來降低架構複雜度，「長期來說，我們想要打造一個專屬永豐、快速開發生成式AI應用的套件或平臺。」他說明，這個內部自行研發的平臺，底層將提供不同開發套件，來加速開發人員作業。平臺中間是API層，要'讓業務人員容易透過API，來使用多種LLM模型服務。平臺最上層則是一個低程式碼（Low-code）開發介面，提供不同使用者，包括業務人員，不需要撰寫太多程式碼，就能調整、測試提示。

提示工程顛覆既有AI開發流程，如何有效檢核模型回應是挑戰

為何採取三層式的GAI開發平臺，與永豐的GAI發展策略密切相關，最關鍵的是，低程式碼介面的設計，主要目的是為了讓業務人員能快速檢核提示效果，甚至，讓業務人員能主導GAI應用開發。

提示工程改變了永豐既有AI應用開發模式，如何有效檢核模型效果，成為永豐開發團隊的最大挑戰。永豐的GAI策略，正是要推動業務人員成為GAI應用開發中的主角。「工程師沒有能力判斷，自己調整的提示夠不夠好，」張天豪點出開發GAI應用和傳統AI應用最大的差異，這也是顛覆既有軟體開發流程的主因。

傳統AI開發流程中，開發人員可以根據模型回應結果的準確度，逐步調整、提升模型效果，但在提示工程中，建模不再是開發人員主要職責，如何有效調整提示、生成更理想的回應，並且讓幻覺問題處在可控範圍內才是關鍵。可是，當GAI應用越是貼近業務場景，開發人員越難有客觀的模型準確度指標可參考，唯有具備領域知識的業務人員，才能判斷模型生成回應的好壞。這就導致，開發人員需要和業務人員反覆溝通，才能檢核模型效果。

對永豐來說，如何建立開發人員和業務人員協作的開發流程，是一大挑戰，光是找到適合溝通測試案例的工具，就是一道難題。

提示每更新一次就要業務人員協助測試

由於LLM先天的幻覺問題，即便是同樣提示，都可能產出不同回應，每當開發人員更新提示，業務人員就得重新檢視測試結果，來確認新產出的模型回應沒有偏差。

永豐現行的開發流程是，開發人員會撰寫出第一版提示，再由業務人員協助測試不同的情境、檢視模型回應內容，並提供修改建議，再交給開發人員，根據這些建議來修改提示，然後再一次，找來業務人員重新檢視同一批測試情境的模型回應，確保新版提示沒有造成偏差，「這是業務同仁非常不喜歡的地方。」張天豪說。

為了雙方討論測試案例，目前，永豐金GAI應用開發團隊採用了Excel表單。當開發人員執行完提示，會以在Excel表單，彙整所有測試案例的模型回應結果，提供給業務人員。

不是沒想過換掉Excel，張天豪提到，內部曾自製過一款網頁工具，提供業務人員確認每一版提示的模型回應，但是，「很難開發出UI/UX贏過Excel的工具，」他進一步解釋，在Excel中，使用者可以快速在不同格內容間遊走，隨時對特定內容進行標註或編輯，操作十分自由。其他現成的協作工具或自製網頁工具，未必能達到Excel的靈活度。

例如有100個測試案例，熟諳Excel操作的業務人員，自己懂得選用紅色底色，來標記效果不好的模型回應，不需要額外說明，開發人員看到就能明白標記涵義。但是，運用其他協作工具時，使用者介面未必對業務人員足夠友善，業務人員找不到完善的標註方式，就必須改用口述或電子郵件額外說明，徒增溝通困擾。

「我們希望技術進步，但實務上，GAI是為了解決業務問題。」張天豪表示，在GAI開發上，永豐的原則，是以業務人員需求作為主要考量，所以，採用他們熟悉的Excel，仍是目前最適合的解決方案。「最終目標會淘汰Excel，不過，需要一些時間。」張天豪說。

永豐期望推動由業務人員負責調整提示

意識到原有的開發流程行不通，永豐金正在朝向由業務人員負責調整提示，減少多次來回溝通的情況。永豐銀行近期推出的一款面對顧客的GAI服務「投資水晶球」，能提供顧客上千篇國內外新聞資料的市場資訊摘要，正是透過非開發人員調整提示開發而成。

為了打造這款面對顧客的GAI服務，永豐銀行內部組成跨部門的專案團隊，包括資訊處、財富金融處等單位，並和永豐金控、永豐投顧合作，共同完成開發。和一般對內GAI應用不同，這款服務並非由業務單位直接和開發團隊對接，而是由PM單位綜合企劃處負責專案規劃和執行。

不同於永豐目前的GAI專案開發流程，這個專案是由專案團隊人員負責調整提示。具體開發流程是，專案團隊人員收到初版提示後，先在員工專用的GAI小幫手中，測試自己的提示詞，確認無誤後，再交由開發人員執行提示。這個過程會反覆執行，直到模型回應達到理想程度。溝通過程中，開發人員也會針對專案團隊人員的提示，提供修改建議，例如增加參數限制等。

另一方面，專案團隊每月都會進行專案會議，針對模型回應給予建議。除了匯集跨部門意見，專案團隊也會徵求法務意見，確保對外GAI服務的合規性。

目前，永豐銀行每周約更新三次服務內容，更新內容前，會先由永豐投顧人員審核內容，才對外發布。雖然服務已經正式上線，永豐銀行的專案團隊仍持續測試新推出的LLM，若新版模型效果較強，則會改為採用更新的模型服務。

業務人員才是GAI應用開發主角

為了讓業務人員能深度參與開發，永豐金從集團策略角度，建立、培養新的開發文化。

目前，永豐金集團內部已經開設許多GAI課程，包含高階主管在內，人人都要參與培訓課程。例如，永豐銀行今年在全行開設12場GAI課程，包含金控董總及高階主管、業務高度相關人員，乃至全行員工，都要在課程中學習GAI應用概念、實作提示工程，掌握GAI基礎概念。

同時，張天豪也嘗試說服業務單位，「調整提示是業務同仁的工作。」在溝通過程中，他嘗試讓業務單位同理，即便是自己帶領的開發團隊，也正在面臨角色轉變挑戰。

在GAI專案中，開發人員成為輔助開發的角色，他們不再需要建模，而是協助業務人員修改、執行提示，並將結果回傳給業務人員。張天豪解釋，這個過程十分繁冗，「對一些喜歡研發的工程師而言，是他們不喜歡的工作。」

為了減少開發人員從事繁冗作業，永豐金也正在研究替代方案。目前，永豐金正著手研究自動增強提示機制的有效性，「輸入一個提示後，會輸出更好的提示。」張天豪解釋。若實驗成功，有望緩解業務和開發人員的溝通不順，讓開發人員更專注在技術性任務。

從傳統AI走到GAI，張天豪認為，「每個人的角色都會改變。 」過往AI開發人員期待從事研發工作，如今，卻僅能運用科技大廠建立的模型。開發人員研發能力無處可施，難免感到沮喪，「但我告訴他們（開發人員），沒辦法，時代就是這樣。」

更進一步，張天豪不斷激勵開發團隊，希望開發人員重新思考自己的未來。「當每天的工作可能改變，甚至過去學校習得的技能，有朝一日完全用不到時，該怎麼辦？」他強調，GAI時代，每個參與開發的角色，都得重新思考自己的定位，而如何落實新開發文化，將會是企業重要課題。

 兩種GAI應用開發流程大比較 

 永豐金現行做法  開發人員主導提示工程的GAI開發

在永豐金，目前大多數GAI流程還是由開發人員負責撰寫、調整提示，業務人員負責檢核模型回應。首先，業務人員向開發人員提出GAI需求，由開發人員提供初版提示。接著，業務人員協助測試各種情境、檢視模型回應內容，並提供修改建議。開發人員根據這些建議重新調整提示命令後，再找業務人員來測試模型回應，若有問題或不符需求，再次找開發人員調整提示，並且再次找業務人員評估結果。因為開發人員無法檢驗生成結果是否符合業務需求，得和業務人員反覆來回多次，甚至數十次，調整與驗證後，才能完成GAI應用的開發。

 未來理想模式  業務人員主導提示工程的GAI開發

目前多數GAI開發由開發人員負責調整提示，也開始有少數企業由業務人員主導提示工程，這也是永豐金控科技長張天豪心中的理想作法。業務人員提出需求後，開發人員先設計初版提示，再讓業務人員測試、確認模型生成效果，但最大不同是，業務人員在測試的過程中，自行調整提示，減少和開發人員來回溝通修改提示的過程。業務人員僅需將調整後的自訂提示，交由開發人員整合到GAI應用中的模型預設提示，業務人員再來驗收最後的GAI應用。

 AI應用不能單靠AI專家，永豐要讓業務員 

 成為GAI開發主角 

提示工程的特性，不僅衝擊既有AI開發流程，更扭轉了開發人員和業務人員在GAI專案的角色。

在GAI專案中，開發人員無法單靠自己的技術能力完成，得借助業務人員的領域知識，來調整提示。過往AI開發流程中，業務人員提出需求後，由開發人員建立、訓練和調教模型，最終提供服務。這個合作模式行之有年，業務人員早已習慣。因此，「業務人員很難想像，在GAI開發過程中，自己竟然是主角。」永豐金控科技長張天豪強調。

永豐想要推動的變革是，在AI應用開發中，將業務人員推向更核心的位置。不過，要在集團內推動這個觀念，並不容易。GAI爆紅後，永豐很快就從集團角度做出應變，從開設GAI課程開始，讓業務人員掌握提示工程技巧。

這不是一時興起的計畫，而是來自多年AI發展的經驗。過去，永豐發展AI時，就十分看重業務人員在應用開發時擔任的角色。甚至，集團能從零開始，發展出上百個AI專案，關鍵就在技術單位和業務單位的密切合作。

持續在集團推廣重要觀念：想打造成功AI應用，得和業務單位密切合作

2020年，永豐金控定調以AI作為集團數位轉型核心。當時，張天豪為了在集團推廣AI，選擇從應用角度切入，以「顧客行銷基因」作為第一批業務單位合作專案，透過AI來協助業務單位進行精準行銷。通過概念驗證，取得業務單位認可後，技術團隊順利將這項實驗專案轉為正式專案。

如今，顧客行銷基因專案提供了上百款商品或服務的推薦指數，協助永豐集團內多個業務單位提升商品行銷效益。這是永豐在AI發展歷程中的一項關鍵應用，也是促進永豐集團近一步推廣AI的重要專案。

有了幾次和業務單位合作的成功案例後，張天豪更有信心在集團推動AI。不過，他並不是向業務單位強調AI技術的優勢，而是向業務單位表達一個重要新觀念：「打造AI應用不能單靠AI專家。」唯有和業務單位合作，才能產出成功的AI應用或服務。

甚至，張天豪還認為，若比較業務和技術單位對AI應用開發的重要性，「業務單位可能占6或7，我們（技術單位）只有4或3。」

這個觀念，後來體現在永豐訂定的AI發展策略上。2022年，永豐宣布三大AI策略，要從業務行銷、風險決策、流程營運三大場景發展AI應用。永豐不單從技術看AI，因為，張天豪認為，從技術面切入，容易忽略金融業實際需求。

當時，永豐的AI策略，便是以應用為主，透過這三大類場景，讓AI逐步落地到集團內每個角落。如今，永豐發展GAI，更強調了業務單位的重要性，甚至，張天豪也將業務人員視為GAI應用開發的主角，以這項策略推進GAI發展。

 相關報導