【LLM模型如何落地金融業？技術與非技術難題並存】凱基人壽導入生成式AI的三大挑戰

業務員是販售保險商品的最大通路，也是保險業的重要戰力。根據壽險公會截至今年二月的統計，凱基人壽（原為中國人壽）內部有超過一萬5千名業務員，每年還會增加不少新進業務員。根據壽險公會統計，光是2022年，全臺就有超過2萬1千名新進業務員通過人身保險資格測驗，正式成為保險業務員。如何將這批年齡、學經歷各不同的新手，快速訓練成保險專業人才，是每一家保險業的重要課題。凱基人壽用生成式AI找到了新的作法。

因為新人數量多又分散全臺，傳統保險業務員訓練方式大多按北、中、南分區培訓，不僅訓練時間長，再加上講師功力和教材不一，培訓效果也有落差。為了解決這個痛點，凱基人壽早在去年就用NLP，開發出一套業務員訓練系統，稱為智能對練1.0版，可以在線上模擬業務人員與顧客的對話，來提供新手業務員進行對話演練，也能彙整多達700頁的業務手冊，協助業務員快速查找大量資訊，至少縮短了一半的新人訓練時間。

不過，用NLP打造的對話形式較生硬，訓練效果有限。隨著生成式AI技術浪潮來襲，凱基人壽看中它模擬真人對話的能力，開始將這項技術應用在內部工具中。

今年二月初，凱基人壽開始在業務員訓練系統中導入生成式AI，發表了智能對練2.0版，可以更擬真的模擬業務員與顧客的對話過程，協助業務員演練銷售技巧，還能快速摘要700頁業務手冊的內容。在模擬客戶功能中，他們除了使用提示工程和檢索增強生成技術（RAG），也應用微調（Fine-Tuning）和虛擬人和情緒偵測等技術。而在業務手冊摘要功能中，他們主要運用提示工程和RAG，限定LLM模型的回應範圍，讓模型盡可能根據業務手冊或商品內容提供回應，協助新進業務員以問答方式，快速掌握手冊資訊。

這是國內首家在業務員訓練正式導入生成式AI的壽險業者，也是國內少數正式啟用生成式AI應用的金融業者。

作為技術採用的先行者，沒有太多先例可循，凱基人壽從技術驗證，到實際落地並正式啟用，不僅是技術面的挑戰，更多的挑戰來自非技術層面，像是如何降低模型回應錯誤率，抑或是因應指引原則，調整內部治理規範。

挑戰一：提升模型回應精準度

導入生成式AI必定會面臨的挑戰，便是AI幻覺。凱基人壽網路數位部資深副總經理宋健榮說明，以GPT模型新版GPT 4 Turbo為例，約有3%的幻覺率，即便使用提示工程、檢索增強生成技術（RAG），甚至是微調（Fine-Tuning），都不易做到百分之百精準。這是生成式AI目前的技術限制，也是受高度監管的金融業者謹慎看待這項技術的關鍵原因。

實際導入生成式AI的過程中，凱基人壽面臨了許多困難。凱基人壽網路數位部專案副理王姿云以第一線實作經驗舉例說明，一本多達700頁的業務手冊中，有時使用者的提問較模糊，手冊多處會有類似的內容，模型難以判斷哪一處的敘述才是正確答案，需要借助提示工程，才能減少回應錯誤率。例如，有兩至三處的描述相似，皆能回應提問，系統就要引導使用者提出更精準的問題，才能給予較精準的回覆。

為了進一步提高模型回答的精準度，凱基人壽還建立了三道提示工程的改進機制。

第一道機制是由內部技術部門和外部技術夥伴合作，以機器亂數產生500筆問題，得到回覆後再和實際答案比對。對內聯合了網路數位部團隊和IT部門的研究小組，對外則找來工研院和技術廠商來精進技術。第二道是透過跨部門小組根據實務經驗，找來業務員代表，手動產生500筆題目，進行第二次測試和比對。最後一道機制，是藉由第一線業務員使用者提供回饋，再交由技術團隊修正提示。宋健榮表示，這批使用者是業務員中的數位代表，負責對數位工具提供使用回饋。未來，他們預計建立200位業務員組成的數位部隊，共同精進數位工具。

挑戰二：蒐集模型訓練資料

凱基人壽的業務員訓練系統提供模擬客戶的功能，讓業務員能隨時和AI模擬客戶進行對話，學習銷售技巧。這個功能在過去是利用NLP技術打造，團隊透過聆聽經驗豐富的業務員演繹銷售技巧，蒐集各種話術，萃取出精華，最後統整為模型訓練資料。為了運用生成式AI提升模擬客戶的擬真度，使用者需要蒐集實際場景的話術，作為模型訓練資料，過程也是一大挑戰。

王姿云解釋，起初，只能將顧客類型分為感性和理性兩種來進行對話角色的模擬，也僅需蒐集基礎的知識話術，就能完成教材，統整資料的過程相對容易。但到了導入生成式AI的2.0版系統，模擬客戶的功能升級，可以增加更多類型的顧客角色，團隊需要蒐集更多達人式、接地氣的話術，作為模型訓練資料，「但達人不一定照著設定的步驟來唸，要萃取出精華是蠻辛苦的事。」另一方面，他們也要將教材縮減至20分內的訓練時長，才有助學員快速吸收。這段話術萃取的過程考驗團隊能否掌握販售技巧的關鍵，不僅需要和負責訓練的單位密切合作，了解第一線的培訓需求，也要掌握商品框架，才能制定系統化的萃取方式，釐清可作為模型訓練的資料。

挑戰三：AI監管環境尚未成形，金融業者尚需摸索內部控管機制

「這次經驗是一個訓練過程，讓我們不斷精進。」宋健榮坦言，作為導入生成式AI的先行者，多數情況沒有參考解方，同仁也尚未熟悉新技術，需要長時間摸索，才能逐漸確立內部機制。另外，因應金管會去年年底發布的「金融業運用AI指引草案」，凱基人壽正根據指引內容研擬內部規範，摸索適當的管理機制。

不過，目前綜觀全球，僅有歐洲制定AI法案，全世界仍在摸索AI治理機制，沒有人具備實質經驗。宋健榮解釋，以資安管理標準而言，從最早世界經濟合作開發組織（OECD）在1990年草擬的「資訊系統安全指導方針」，到1995年，英國標準協會訂定的「資訊安全管理實務準則」之BS7799。直到2000年，BS7799通過ISO審議，才成為較成熟的ISO/IEC 17799。反觀AI，目前尚未發展相對成熟的認證標準，業者也較難掌握監理標準。

此外，無論是國內外，AI相關規範或指引皆強調了模型透明性和可解釋性，但是，宋健榮指出，多數金融業者不易掌握模型，更難以自建LLM模型，較難符合這項監管要求。目前，多數金融業透過Azure OpenAI服務使用GPT模型，無法得到模型全部資料，「即便是開源模型，也只有部分資料揭露。」宋健榮解釋，生成式AI模型掌握在大型科技公司手中，多數企業無法控制整體資料品質，也較難解釋模型透明性。目前金融業者主要透過RAG或微調模型，「你可以控管自己的資料，但是基礎模型的資料就做不到。」

凱基人壽的實作經驗顯示，金融業者導入生成式AI不僅需要面臨技術挑戰，背後更要面臨包括合規、治理面等非技術的挑戰，許多內部機制也得透過階段性的試錯，才能逐漸成形。

「希望透過這次應用，累積足夠經驗再發展。」宋健榮表示，當生成式AI技術足夠成熟後，他們會進一步擴大應用範圍。第一，使用大量業務手冊、業務規則的部門，利用生成式AI輔助摘要大量資訊。第二是，針對核保和理賠等需要專業判斷的場景，利用AI協助專員進行判斷。「凱基人壽的終極目標，是利用AI打造一個業務員的副駕駛（Copilot），整合所有業務員工具，包括輔銷、客戶管理、日常業績管控、報到、推播等工具，透過AI實現業務員超級助理。」宋健榮說。

凱基人壽網路數位部資深副總經理宋健榮認為，這次導入生成式AI的經驗是一段訓練過程，讓他們不斷精進。當生成式AI技術足夠成熟後，他們會進一步擴大應用範圍，終極目標是為業務員打造一個副駕駛(copilot)，實現業務員超級助理。（攝影：洪政偉）

 金融業者對生成式AI的觀點 

「生成式AI的出現是一個拐點，它跟傳統AI間已經有一道分水嶺。」對於生成式AI技術對金融業的影響，凱基人壽網路數位部資深副總經理宋健榮明確給出這個回應。不過，他也認為，生成式AI技術目前尚在雛形階段，綜觀現有的商業應用中，除了Chatbot形式較為成熟，其他的應用還尚在發展中，「類似蘋果推出的iPod，但還沒到iPhone。」

其實，早在2017年，凱基人壽就以AI作為轉型策略核心，內部早已建立大數據資料庫和標籤庫，還能運用AI自動貼標快速分析客戶行為，為日後發展AI奠定不少基礎。不過，宋健榮認為：「目前的生成式AI離通用型AI還有一段路。」待技術成熟，凱基人壽期望能以過往AI基礎，加值至生成式AI應用。「改變跟進步一直往前，你不知道最後會怎樣。」