「要訓練出媲美ChatGPT的對話水準,就算玉山投入所有算力,也要一到兩年才能訓練出LLM模型。」玉山金控科技長張智星指出,去年3月初,ChatGPT API一發布,玉山AI團隊就馬上開始評估,決定先用KYC調查中負面新聞查詢的重點整理和摘要來測試,發現效果不錯,也替作業人員省下不少時間。但問題來了,當時若不是採用雲端企業級的ChatGPT服務,就得自行訓練LLM模型。要不要自己訓練LLM?成了關鍵的抉擇。
因為算力不夠,玉山要自行訓練LLM模型得花上2年,但是可以擁有最大的自主權,若是採用業者的LLM服務,雖然可以快速上手,但得考慮綁定風險,還有金融業諸多嚴格的法遵和資安規範。
玉山早在2021年訂定了三年AI願景,以NLP技術作為全集團AI發展的核心,圍繞Chatbot發展相關應用,除了要全面使用Chatbot,抓住顧客意圖,還要大量分析語音客服,發展數位導流,更想要打造出可以24小時運作的全智能語音Chatbot。他們也訓練出了自己的NLP模型,用於大量客服通話內容、分析顧客問題。
如今ChatGPT隔空出世,為了運用更先進的LLM來實現AI願景,玉山毅然決然,放棄自建模型的策略,轉而採用第三方業者的雲端LLM服務。
不過,玉山多年AI的投入,並沒有白費,而是讓他們很快就能銜接到最新生成式AI技術。這其中,最關鍵的是,玉山有一套MLaaS平臺(機器學習即服務平臺),全面以API形式來提供AI服務,而不是直接把AI技術寫入到每一套系統中。
在金融業,對內要全面用API來串接不同的系統,不是一件容易的事,但是,玉山當年決定全力發展AI,就計畫要能夠全面地使用AI,因此,玉山將不同的AI功能,打造成一隻又一隻的API,方便以API形式整合到各式各樣的系統上。也搭配發展出了一套從訓練、開發、部署、提供服務到維運,涵蓋整個開發到維運生命周期的MLaaS平臺。這不僅是金融業,也是臺灣大型企業中少見如此系統化、大規模發展AI的作法。
雲端業者提供的各種生成式AI服務、LLM服務,正是以API形式來串接,玉山當年所做的選擇,正好是現在當紅的生成式AI主流服務提供形式。玉山只需要外部的第三方生成式AI的API,串接到原本的MLaaS平臺中,就能延續原本的作法,甚至不需要重新調整、修改MLaaS平臺對內部系統的串接方式,累積3年的API化AI應用開發經驗,一點都沒有白費。
隨著金融主管機關這兩年逐漸鬆綁金融上雲的規範,金融業者更容易使用公雲上的服務,剛好解了玉山採用雲端生成式AI的一大難題,不過,還有另一個挑戰,要將內部資料拋轉到外部的第三方服務上,如何徹底避免機敏資料外洩是另一項考驗。
許多企業為了預防機密外流,都會對上傳到雲端生成式AI的資料進行遮蔽,將機敏資料移除,來避免外洩。但是,生成式AI是依據上下文來進行推論,一但提供的內容中有缺漏,就可能會影響生成的結果。
玉山找到了兩全其美也更進階的作法,採取等價交換的方式,將機敏資料替換成類似但卻是模擬的假資料,例如原本提到了真實的信用卡號,則替換為假的信用卡資料,或是用假姓名來取代真實的姓名,既能避免外洩機敏資料,又能讓生成式AI有較完整的上下文脈絡可用。
玉山在這套機器學習即服務平臺MLaaS上,提供和維運了AI五大類服務,包括行銷AI、風控AI、服務AI、流程AI以及賦能AI,生成式AI就是流程AI類的其中一隻API。玉山也發展出了一整套的生成式AI平臺稱為GENIE,以RAG作法為核心。
GENIE是一隻獨立的API,容易串接、整合到多種延伸應用服務或是各種內部系統上。玉山也搭配自建的金融知識庫,運用RAG技術來提升LLM模型的回答精準度。
透過這個平臺,玉山先發展出了12類生成式AI應用服務,其中11項已經正式啟用,一項還在開發中。這只是玉山生成式AI的一小步,這套涵蓋整個生命周期的MLaaS是玉山發展更多AI應用的加速器,從自建NLP到擁抱第三方LLM服務,玉山的AI戰略,換了更先進的新引擎,可以站在更高的技術力上,讓AI 繼續全面落地。
專欄作者
熱門新聞
2024-10-14
2024-10-13
2024-10-13
2024-10-11
2024-10-14
2024-10-12
2024-10-11