圖片來源: 

攝影/余至浩

「未來AI 代理(Agents) 將會無所不在。」聯發科人工智慧暨數據工程處本部協理葉家順近日在一場活動上分享自家內部生成式AI場景應用時這樣說道。

葉家順表示,該公司已完成生成式AI 基礎設施,現階段發展重點聚焦智慧助理、個人化及任務管理,下一步將朝向多代理(multi-agent) 協作模式來發展。

聯發科開始導入GAI(生成式AI)的目的,一方面是提升員工生產力,達到成本降低的目標;另一方面是讓現有產品或服務創造更高價值,替公司增加更多收益。

為此,聯發科去年開發了自家的生成式AI服務平臺DaVinci,目標要打造像「Jarvis」這樣的AI助理,並先在內部導入,服務全球2萬多名員工,迄今推動跨部門超過50個生成式AI專案,集團內部的滲透率已達 97%。

後來這套平臺發展成可供外部企業導入的生成式AI服務方案。目前已有上百家客戶在進行測試,數十家企業正式採用。

透過DaVinci平臺,聯發科短短1年多已將生成式AI迅速應用於內部各單位,包括 IT、人資、法務、財務、產銷和稽核等。以IT部門為例,GAI被應用於軟體開發周期的各個階段,包括需求分析與規格設計、程式撰寫、測試與驗證,以及客戶支持等。並且先從OA環境中導入,之後再將AI逐步擴展到軟體開發和IC設計等高敏感性的工作環境。

葉家順說,許多企業導入生成式AI時,往往會先購買算力並開始訓練模型,他建議,若企業希望在半年內取得顯著成效,以提升生產力或增加價值,可以優先在非核心業務中進行應用,例如生產、銷售、人力資源、財務和行政等部門,因為這些業務的機敏性相對較低,且所選擇的GAI模型不一定需要是經過微調或預訓練過程,因此可以很快拿來運用。

聯發科的許多內部生成式AI 應用都是由各部門主導開發的,先由各單位確定業務場景和流程痛點後,再與AI專家討論應用的可行性,進而開發出相對應的應用,來解決自身的問題。

以財務部門為例,財務人員可以用GAI協助交易處理,包括月季結算、合併報表及權利金報告的撰寫,也能進行採購單(PO)和非採購單、固定資產的核對與分類,並處理收付款項和撰寫金融商品報告。在企業決策支援方面,GAI可用於整理稅務申報及稅務優惠資料,撰寫非營運公司報告,以及整理和撰寫內外部報告,如法說會、ESG 報告和財務報告等。不僅如此,GAI還能用在經營財務管理上,進行多維報告的資料彙整。

聯發科將DaVinci發展成一套生成式AI智慧助理No Code工具,讓每位員工都可以透過No Code方式建立個人助理,使用者只需選擇模型、外掛、提示範本和知識庫,就能快速建立適合不同任務的AI智慧助理,藉此來改善內部作業流程,進而提高生產力。

聯發科員工在內部開發了多種不同的AI 助理,像是有財務客服助理,能夠協助財務人員快速查詢公司基本資料、營收、應收帳款、逾期帳款和DE比等訊息,還有費用分析師助理,能夠查詢營運成本相關內容並提供商業見解。以及論文分析助理,能夠幫助研發單位快速分析和總結arXiv期刊或Medium網站文章,以便快速學習和吸收新知識與技術。甚至還有擔任策略顧問的AI助理,能提供商業建議與分析。

葉家順提到說,在GAI應用開發過程中,只有挑選GAI模型還不夠,如果直接使用模型而未整合公司內部的知識庫,容易出現「幻覺」問題。因此在聯發科的 DaVinci 中,他們開發了多個公版外掛(plugin),能夠與外部系統對接,包括SharePoint、ERP和資料庫等。目前模型庫中包含幾十個模型,並提供數百個plugin。在模型庫中,也能選擇聯發科自己的繁中LLM模型BreeXe,或是其他經過微調或預訓練的模型。

他們也建立了提示優化引擎,優化提示流程,提升模型回答的準確性。在訓練過程中,會保留大量資料,以不斷優化這些提示引擎,目前該引擎已發展至第二版。此外,模型使用後所產生的Log日誌數據會集中在地端保存,用於稽核和計費。

身為企業用的AI助理,葉家順強調,與其他生成式AI助理相比,DaVinci更加注重安全、彈性和易用性,「比起專注於AI建置,我們更重視如何有效運用AI。」

他表示,在手機領域,像安卓或iOS這樣的開放平臺不僅強調安全性,還具備易用性,讓每個人都能使用工具解決自己的問題。這一經驗同樣適用於生成式AI助理,「我們的目標是,未來無論是2萬名員工,或5萬名員工的公司,每個人都能在半天內訓練並開發出AI助理,解決手邊的問題。」

聯發科雖然在內部大量導入GAI應用,但也採取不少措施,加強GAI應用安全與管控,「資安控管比選擇基礎模型更為重要。」葉家順表示。

像在資安管控上,聯發科會根據機敏性程度將工作環境分為OA環境、軟體開發環境和IC設計環境,來提供安全隔離的環境,並透過API介接DaVinci平臺中的模型庫。每個環境所能夠使用的模型有所不同,例如,OA和軟體開發環境可以使用VPC(Virtual Private Cloud) API串接部署在雲端上的GAI 模型,如Google Gemini和AWS Bedrock等,但如果是核心的業務,如IC設計,由於不能上網,僅能選擇本地模型,如Llama 3、Mistral和 DeepSeek,且必須在自家的機房中部署推論伺服器來執行模型。

除了導入GAI提高員工生產力,聯發科也用GAI幫助其創造更多收益,推出名為智慧助理即服務(Smart Assistant as a Service,SAaaS)的新服務模式,將智慧助理功能API化後迅速部署到包括手機 平板 智慧音箱 智能家居、自駕車等各種終端設備中提供AI助理服務。甚至也能結合個人化功能,進一惡進步提升服務體驗。

舉例來說,未來在自駕車應用上,智慧助理能將整合使用手冊及車廠資料庫,可以用中文、日文或英文等不同語言回答車主提問。在智慧家庭上,聯發科已投入大量AIoT產品的開發,過去多以聲控為主,未來則能透過智慧助理提供更多服務。在個人助理方面,無論是B2B或B2C應用,智慧助理都能發揮用處。

聯發科的GAI發展未來將從智慧助理,進到多Agent協作模式的應用階段。葉家順表示,未來的GAI應用將以Agent與Agent之間的協作為核心,這些Agent不只存在於雲端上,也會在不同大小的裝置和設備中分工協作,共同完成任務。例如使用者的個人助理Agent可以自動與其他裝置中的Agent協調活動,如安排會議、規劃旅遊行程、訂房和交通等,串聯多項服務。「未來將是Agent的時代。」葉家順強調。

熱門新聞

Advertisement