【2024臺北金融科技展】台新金控自行訓練LLM打造多款GenAI應用，預計年底對外推出GenAI智能客服

今年臺北金融科技展上，多家金融業者展示自家GenAI應用。台新金控也是其中一間業者，展示包括用生成式AI升級的智能客服、服務企金客戶的擬真客服人員、影片生成服務，和音樂生成服務等應用。

不過，台新的亮點不僅在GenAI應用本身，而是背後運用的模型。沒有直接採用雲端現成的生成式AI服務，台新用現成的基礎模型進行預訓練，來客製出專屬的大型語言模型。在今年臺北金融科技展上，台新展出的客服相關應用，就是透過一個名為台新腦的LLM打造而成。甚至，台新金控資訊長孫一仕也喊出，預計最快年底對外推出運用台新腦升級的智能客服。

自行訓練LLM，靠台新腦和工具腦分工發展GenAI客服和特定任務

台新現有大型語言模型分為兩種，一種是台新腦，是一個擁有370億參數量的LLM，負責「懂台新」，發展智能客服等應用。另一種是工具腦，包含數個參數量較小的LLM，負責處理單一工作任務，如報告生成、圖片生成、影片生成等任務。

就台新腦來說，台新金控資訊長孫一仕表示，他們和外部廠商合作，先運用雲端資源訓練370億參數量的LLM。訓練完成後，再將模型放置於台新內部的地端環境運作。自今年5月，台新就訓練出第一版台新腦。孫一仕表示，在測試台新腦過程中，台新除了運用基本的中英文測試集，也運用金融專業人士的考試題目來測試「台新腦」的金融知識。目前，台新腦經過5輪測試，預計會再進行2輪測試。

除了運用台新腦打造客服應用，台新也預訓練數個參數量較小的開源大型語言模型，打造數個處理特定工作任務的「工具腦」。例如，台新在臺北金融科技展上展出的影片生成服務和音樂生成服務，就是透過不同工具腦開發而成，而非透過台新腦打造。

為了發展AI，台新預估已投入約3,000萬，光是硬體資源就包含16片Nvidia H100 GPU。此外，台新也組成一支擁有20位AI專業人員的團隊，負責訓練模型、開發應用，和將AI應用介接IT系統。並且，這支團隊也要負責和業務單位討論GenAI需求。

目前，台新內部落地的GenAI應用分為三類，「一個是智能客服，一個是內部知識管理，第三個是內部圖片生成。」孫一仕表示，內部正在積極和各子公司合作，預計明年將推出12支AI應用，包括智能理專和智能對練等對內服務。