【iThome 2024 CIO大調查系列3｜CIO觀點】台新金揭生成式AI布局，要透過預訓練現成基礎模型來自建LLM

在iThome 2024年CIO大調查中，超過半數的金融業者開始導入和驗證生成式AI，台新金控也是其中一家，但他們大膽嘗試了一條不一樣的道路。

今年三月，台新金內部舉辦了一場圖像生成挑戰賽，鼓勵子公司員工組隊參與，運用各種提示工程來生成圖像作品。這群員工當時所試用的模型，正是台新金自建的圖型生成模型。沒有直接採用雲端現成的生成式AI服務，台新用現成的基礎模型進行預訓練，來客製出專屬的大型語言模型，打造出能懂台新金和各子公司的「台新腦」。

考慮自建，並不是偶然為之，而是經過一連串實驗後立下的決策。早在去年初，台新金就開始研究生成式AI，並將生成式AI作為未來兩年的發展重點。他們不只制定AI發展關鍵因子，和AI導入指引，還發展4項實驗專案，包括協作平臺的聊天機器人Teams Chatbot、知識管理平臺、程式碼撰寫助理Codex，以及虛擬智能客服。

當時，台新金採用Azure OpenAI服務提供的大型語言模型。經過一連串試驗，台新金評估，使用雲端服務雖有好處，但也存在盲點。台新金控資訊長孫一仕說明，目前各家科技大廠推出的LLM功能雖然強大，「但我們可能只需使用三到四成功能， 」例如，影片生成，就是銀行不太會用到的功能。

再者，採用雲端LLM服務時，企業僅能透過微調或RAG來優化，讓LLM模型具備銀行的內部知識。「這個方式可行，但不確定是不是夠好的作法。」孫一仕說明，考慮走向自建，並非現有方法不對，而是希望探索其他方法的可能性。

他指出，現在的LLM模型功能強大，如同18歲的成年人，技能樣樣精通，唯獨得花費精力向他介紹台新，但是，能否找出另一種LLM的可能，「他可能只是三、四歲的天才兒童，很多技能不會，但天生就懂台新。」孫一仕強調，方法沒有對錯，差別在於，「你看重大型語言模型哪些功能，又期待模型擁有多少企業的Know How，以及日後維護成本多高。」

運用雲端資源補足算力資源

從去年11月起，台新就開始評估自建LLM模型的實作方法。目前，台新打算運用雲端資源來補足訓練模型所需的算力。「建模時運用雲端，跑模型則靠地端。」孫一仕指出，建模需要仰賴大量算力，得靠雲端資源來補足，但在使用模型時，地端資源就足夠支持模型的運作。因應自建模型的策略，算力，是台新今年在雲端的重點投資項目。

在挑選基礎模型時，台新找來大學教授協助評估，根據兩項條件來進行篩選。先根據想用的功能，來選定適合的模型參數量。再來是，測試模型支援繁體中文的能力。決定了基礎模型後，才挑選適合的雲端算力供應商，來評估適當的模型運算環境。不過，孫一仕點出，挑選雲端業者時，不能只考慮價格，同時要注意供應商綁定問題。他坦言，這是他們目前正在努力克服的議題。

成本計算和資料治理成挑戰

對金融業者而言，無論採用哪種方法導入生成式AI，都存在潛在風險，如何計算成本，便是一大挑戰。孫一仕解釋，走向自建，可能需要的算力投資過大，若用雲端LLM，成本則隨著使用次數上升而增加，難以準確掌握長期的投資金額。孫一仕表示，根據台新目前實驗的結果，「我們可以確保繼續執行自建模型的成本可控。」不過，針對長期的開銷，他也坦言，目前各家金融業者沒有實測數據，「只有假設，需要時間才能知道哪種方式比較貼近事實。」

導入生成式AI的另外一項挑戰，則是資料治理。訓練或調教大型語言模型所需的資料，涵蓋了行內和行外的資料，資料形式上更有大量的非結構化的資料，例如，新聞、財報等。孫一仕指出，金融業過往較擅長處理行內的結構性資料，如客戶資料和交易數據。但是，針對非結構化資料，各家金融業者尚在研討適當的治理方式。甚至，即便是結構化資料，都需要進行調整才能匯入LLM模型。因此，孫一仕強調，資料治理可能也是金融業導入生成式AI時，需要投資的一大重點。

最後，孫一仕指出，自建模型所需的人力資源，和使用雲端服務有很大的不同。例如，採用雲端服務形式，較不需要聘請大型語言模型專家，僅需要了解如何適當運用工具，「不同模式會牽涉到企業需要留在手邊的經驗或系統。」

「這段時間台新走得戰戰兢兢，因為大家都對我們說，你的方向錯了。」孫一仕笑說，這一路下來並不輕鬆，但他仍舊希望嘗試不同路線。在生成式AI的賽道上，台新要用自建模型來另闢蹊徑。

 相關報導