永豐金控科技長張天豪 (攝影/洪政偉)

早在2020年,永豐金控就定調以AI做為集團數位轉型核心。四年來,永豐內部累積超過百個AI專案,使用超過上百個AI模型。GAI爆紅後,永豐快速跟上趨勢,甚至是臺灣第一批將GAI運用在對外服務的企業。

除了在銀行對內推出員工專用GAI小幫手,輔助員工日常工作任務。近期,永豐銀行和永豐金證券更進一步推出面對顧客的GAI服務,前者提供顧客上千篇國內外新聞資料的市場資訊摘要,後者運用生成式AI彙整市場資訊,提供個股新聞摘要和市場輿情分析。

為了打造GAI應用,永豐也嘗試不少現成開發框架,例如LangChain發展早期,永豐就開始採用。不過,走的早,也讓永豐面臨不少挑戰。首先,永豐採用的GAI開發框架快速迭代,徒增不少開發團隊的維運工作。例如LangChain框架向下相容性差,不僅新舊版本互不相容,甚至有幾次改版,讓永豐開發團隊不得不重構原有開發邏輯,造成不少開發困擾。

為了應對現成GAI開發工具的不穩定,永豐透過增加抽象層,來運用不同開發框架,避免被既有開發框架綁住。考量專案特性,永豐還會採用不同的開發框架。例如,對外的GAI應用,永豐會採用大型科技業者的技術架構,確保服務穩定性,對內的小型專案,則鼓勵開發團隊嘗試各種開發框架來練功。

不過,永豐金控科技長張天豪強調,嘗試多框架是階段性做法,未來會減少所用的技術框架,來降低架構複雜度,「長期來說,我們想要打造一個專屬永豐、快速開發生成式AI應用的套件或平臺。」他說明,這個內部自行研發的平臺,底層將提供不同開發套件,來加速開發人員作業。平臺中間是API層,要'讓業務人員容易透過API,來使用多種LLM模型服務。平臺最上層則是一個低程式碼(Low-code)開發介面,提供不同使用者,包括業務人員,不需要撰寫太多程式碼,就能調整、測試提示。

提示工程顛覆既有AI開發流程,如何有效檢核模型回應是挑戰

為何採取三層式的GAI開發平臺,與永豐的GAI發展策略密切相關,最關鍵的是,低程式碼介面的設計,主要目的是為了讓業務人員能快速檢核提示效果,甚至,讓業務人員能主導GAI應用開發。

提示工程改變了永豐既有AI應用開發模式,如何有效檢核模型效果,成為永豐開發團隊的最大挑戰。永豐的GAI策略,正是要推動業務人員成為GAI應用開發中的主角。「工程師沒有能力判斷,自己調整的提示夠不夠好,」張天豪點出開發GAI應用和傳統AI應用最大的差異,這也是顛覆既有軟體開發流程的主因。

傳統AI開發流程中,開發人員可以根據模型回應結果的準確度,逐步調整、提升模型效果,但在提示工程中,建模不再是開發人員主要職責,如何有效調整提示、生成更理想的回應,並且讓幻覺問題處在可控範圍內才是關鍵。可是,當GAI應用越是貼近業務場景,開發人員越難有客觀的模型準確度指標可參考,唯有具備領域知識的業務人員,才能判斷模型生成回應的好壞。這就導致,開發人員需要和業務人員反覆溝通,才能檢核模型效果。

對永豐來說,如何建立開發人員和業務人員協作的開發流程,是一大挑戰,光是找到適合溝通測試案例的工具,就是一道難題。

提示每更新一次就要業務人員協助測試

由於LLM先天的幻覺問題,即便是同樣提示,都可能產出不同回應,每當開發人員更新提示,業務人員就得重新檢視測試結果,來確認新產出的模型回應沒有偏差。

永豐現行的開發流程是,開發人員會撰寫出第一版提示,再由業務人員協助測試不同的情境、檢視模型回應內容,並提供修改建議,再交給開發人員,根據這些建議來修改提示,然後再一次,找來業務人員重新檢視同一批測試情境的模型回應,確保新版提示沒有造成偏差,「這是業務同仁非常不喜歡的地方。」張天豪說。

為了雙方討論測試案例,目前,永豐金GAI應用開發團隊採用了Excel表單。當開發人員執行完提示,會以在Excel表單,彙整所有測試案例的模型回應結果,提供給業務人員。

不是沒想過換掉Excel,張天豪提到,內部曾自製過一款網頁工具,提供業務人員確認每一版提示的模型回應,但是,「很難開發出UI/UX贏過Excel的工具,」他進一步解釋,在Excel中,使用者可以快速在不同格內容間遊走,隨時對特定內容進行標註或編輯,操作十分自由。其他現成的協作工具或自製網頁工具,未必能達到Excel的靈活度。

例如有100個測試案例,熟諳Excel操作的業務人員,自己懂得選用紅色底色,來標記效果不好的模型回應,不需要額外說明,開發人員看到就能明白標記涵義。但是,運用其他協作工具時,使用者介面未必對業務人員足夠友善,業務人員找不到完善的標註方式,就必須改用口述或電子郵件額外說明,徒增溝通困擾。

「我們希望技術進步,但實務上,GAI是為了解決業務問題。」張天豪表示,在GAI開發上,永豐的原則,是以業務人員需求作為主要考量,所以,採用他們熟悉的Excel,仍是目前最適合的解決方案。「最終目標會淘汰Excel,不過,需要一些時間。」張天豪說。

永豐期望推動由業務人員負責調整提示

意識到原有的開發流程行不通,永豐金正在朝向由業務人員負責調整提示,減少多次來回溝通的情況。永豐銀行近期推出的一款面對顧客的GAI服務「投資水晶球」,能提供顧客上千篇國內外新聞資料的市場資訊摘要,正是透過非開發人員調整提示開發而成。

為了打造這款面對顧客的GAI服務,永豐銀行內部組成跨部門的專案團隊,包括資訊處、財富金融處等單位,並和永豐金控、永豐投顧合作,共同完成開發。和一般對內GAI應用不同,這款服務並非由業務單位直接和開發團隊對接,而是由PM單位綜合企劃處負責專案規劃和執行。

不同於永豐目前的GAI專案開發流程,這個專案是由專案團隊人員負責調整提示。具體開發流程是,專案團隊人員收到初版提示後,先在員工專用的GAI小幫手中,測試自己的提示詞,確認無誤後,再交由開發人員執行提示。這個過程會反覆執行,直到模型回應達到理想程度。溝通過程中,開發人員也會針對專案團隊人員的提示,提供修改建議,例如增加參數限制等。

另一方面,專案團隊每月都會進行專案會議,針對模型回應給予建議。除了匯集跨部門意見,專案團隊也會徵求法務意見,確保對外GAI服務的合規性。

目前,永豐銀行每周約更新三次服務內容,更新內容前,會先由永豐投顧人員審核內容,才對外發布。雖然服務已經正式上線,永豐銀行的專案團隊仍持續測試新推出的LLM,若新版模型效果較強,則會改為採用更新的模型服務。

業務人員才是GAI應用開發主角

為了讓業務人員能深度參與開發,永豐金從集團策略角度,建立、培養新的開發文化。

目前,永豐金集團內部已經開設許多GAI課程,包含高階主管在內,人人都要參與培訓課程。例如,永豐銀行今年在全行開設12場GAI課程,包含金控董總及高階主管、業務高度相關人員,乃至全行員工,都要在課程中學習GAI應用概念、實作提示工程,掌握GAI基礎概念。

同時,張天豪也嘗試說服業務單位,「調整提示是業務同仁的工作。」在溝通過程中,他嘗試讓業務單位同理,即便是自己帶領的開發團隊,也正在面臨角色轉變挑戰。

在GAI專案中,開發人員成為輔助開發的角色,他們不再需要建模,而是協助業務人員修改、執行提示,並將結果回傳給業務人員。張天豪解釋,這個過程十分繁冗,「對一些喜歡研發的工程師而言,是他們不喜歡的工作。」

為了減少開發人員從事繁冗作業,永豐金也正在研究替代方案。目前,永豐金正著手研究自動增強提示機制的有效性,「輸入一個提示後,會輸出更好的提示。」張天豪解釋。若實驗成功,有望緩解業務和開發人員的溝通不順,讓開發人員更專注在技術性任務。

從傳統AI走到GAI,張天豪認為,「每個人的角色都會改變。 」過往AI開發人員期待從事研發工作,如今,卻僅能運用科技大廠建立的模型。開發人員研發能力無處可施,難免感到沮喪,「但我告訴他們(開發人員),沒辦法,時代就是這樣。」

更進一步,張天豪不斷激勵開發團隊,希望開發人員重新思考自己的未來。「當每天的工作可能改變,甚至過去學校習得的技能,有朝一日完全用不到時,該怎麼辦?」他強調,GAI時代,每個參與開發的角色,都得重新思考自己的定位,而如何落實新開發文化,將會是企業重要課題。

 

 兩種GAI應用開發流程大比較 

 永豐金現行做法  開發人員主導提示工程的GAI開發

在永豐金,目前大多數GAI流程還是由開發人員負責撰寫、調整提示,業務人員負責檢核模型回應。首先,業務人員向開發人員提出GAI需求,由開發人員提供初版提示。接著,業務人員協助測試各種情境、檢視模型回應內容,並提供修改建議。開發人員根據這些建議重新調整提示命令後,再找業務人員來測試模型回應,若有問題或不符需求,再次找開發人員調整提示,並且再次找業務人員評估結果。因為開發人員無法檢驗生成結果是否符合業務需求,得和業務人員反覆來回多次,甚至數十次,調整與驗證後,才能完成GAI應用的開發。

 未來理想模式  業務人員主導提示工程的GAI開發

目前多數GAI開發由開發人員負責調整提示,也開始有少數企業由業務人員主導提示工程,這也是永豐金控科技長張天豪心中的理想作法。業務人員提出需求後,開發人員先設計初版提示,再讓業務人員測試、確認模型生成效果,但最大不同是,業務人員在測試的過程中,自行調整提示,減少和開發人員來回溝通修改提示的過程。業務人員僅需將調整後的自訂提示,交由開發人員整合到GAI應用中的模型預設提示,業務人員再來驗收最後的GAI應用。

 

 AI應用不能單靠AI專家,永豐要讓業務員 

 成為GAI開發主角 

提示工程的特性,不僅衝擊既有AI開發流程,更扭轉了開發人員和業務人員在GAI專案的角色。

在GAI專案中,開發人員無法單靠自己的技術能力完成,得借助業務人員的領域知識,來調整提示。過往AI開發流程中,業務人員提出需求後,由開發人員建立、訓練和調教模型,最終提供服務。這個合作模式行之有年,業務人員早已習慣。因此,「業務人員很難想像,在GAI開發過程中,自己竟然是主角。」永豐金控科技長張天豪強調。

永豐想要推動的變革是,在AI應用開發中,將業務人員推向更核心的位置。不過,要在集團內推動這個觀念,並不容易。GAI爆紅後,永豐很快就從集團角度做出應變,從開設GAI課程開始,讓業務人員掌握提示工程技巧。

這不是一時興起的計畫,而是來自多年AI發展的經驗。過去,永豐發展AI時,就十分看重業務人員在應用開發時擔任的角色。甚至,集團能從零開始,發展出上百個AI專案,關鍵就在技術單位和業務單位的密切合作。

持續在集團推廣重要觀念:想打造成功AI應用,得和業務單位密切合作

2020年,永豐金控定調以AI作為集團數位轉型核心。當時,張天豪為了在集團推廣AI,選擇從應用角度切入,以「顧客行銷基因」作為第一批業務單位合作專案,透過AI來協助業務單位進行精準行銷。通過概念驗證,取得業務單位認可後,技術團隊順利將這項實驗專案轉為正式專案。

如今,顧客行銷基因專案提供了上百款商品或服務的推薦指數,協助永豐集團內多個業務單位提升商品行銷效益。這是永豐在AI發展歷程中的一項關鍵應用,也是促進永豐集團近一步推廣AI的重要專案。

有了幾次和業務單位合作的成功案例後,張天豪更有信心在集團推動AI。不過,他並不是向業務單位強調AI技術的優勢,而是向業務單位表達一個重要新觀念:「打造AI應用不能單靠AI專家。」唯有和業務單位合作,才能產出成功的AI應用或服務。

甚至,張天豪還認為,若比較業務和技術單位對AI應用開發的重要性,「業務單位可能占6或7,我們(技術單位)只有4或3。」

這個觀念,後來體現在永豐訂定的AI發展策略上。2022年,永豐宣布三大AI策略,要從業務行銷、風險決策、流程營運三大場景發展AI應用。永豐不單從技術看AI,因為,張天豪認為,從技術面切入,容易忽略金融業實際需求。

當時,永豐的AI策略,便是以應用為主,透過這三大類場景,讓AI逐步落地到集團內每個角落。如今,永豐發展GAI,更強調了業務單位的重要性,甚至,張天豪也將業務人員視為GAI應用開發的主角,以這項策略推進GAI發展。

 相關報導 

熱門新聞

Advertisement