臺灣IBM揭露在臺GAI發展策略，要將輕量級GAI模型Granite帶進企業

在公雲巨頭的GAI技術競賽中，IBM今年5月終於發表了自家開源LLM模型Granite，到了十月時更在年度產品大會上推出3.0新版模型。臺灣IBM最近也開始在臺介紹Granite新版模型，要搶攻企業GAI落地部署的需求，更揭露了在臺發展GAI的兩大策略。

臺灣IBM技術長莊士逸表示，剛發表的Granite 3.0新版是一款輕量級的基礎模型，包括了1B、2B、3B和8B參數量的版本，採用可商用的Apache 2.0開源授權，可以部署到企業內部環境，也能在硬體資源較低的環境中執行，來瞄準企業落地部署的需求。3.0版可以支援12種語言，包括中文，臺灣IBM內部也正在進行繁體中文的測試。

Granite 3.0包括了一系列的模型，包括了大型語言模型，還有強化輸入和回應內容過濾的安全護欄模型，另外還有推測解碼模型、程式碼開發模型、時間序列模型和地理空間模型，目前先釋出的是大型語言模型系列和安全護欄系列模型，陸續再推出其餘模型。企業可到Hugging Face等網站自行下載，也能在IBM的AI開發平臺Watsonx或Google Vertex AI等平臺上選用。

除了多語言支援，3.0版也開始提供企業打造代理人需要的工具調用能力，目前可支援Function Call功能，在LLM模型呼叫外部的第三方函式庫。後續將釋出3.1版，預計可支援到128Ｋ上下文長度的資料輸入輸出，還會強化程式碼生成的能力，以及代理人應用的邏輯推理功能。IBM在Watsonx平臺上提供了調度工具，可用來組合LLM模型和第三方元件，打造AI代理人應用。

臺灣IBM透露，明年要發布的Granite 3.2版將是一款多模態LLM，將釋出Granite-3.0-vision-instruct模型，可理解圖像，後續還會推出支援聲音的模型版本。

莊士逸表示，IBM已經用Granite模型打造多款內部的AI代理人，包括了後勤HR、後勤IT HelpDesk、後勤IT系統申請、後勤ERP、員工績效管理、銷售、業務績效、合作夥伴管理等名為Ask系列的AI代理人助手。例如他就曾收到員工績效管理AI助理的通知，提醒他有名員工表現優異，GAI彙整了市場上同類職務的薪水水準供他參考，詢問莊士逸是否要幫這名員工加薪，若他按下同意鍵，就會自動完成相關調薪申請，自動實施到這名員工下個月的薪水匯款。這是由GAI彙整外部市場資訊，結合內部流程自動化工具而成的AI代理人應用。

IBM在年度大會上也公布了最新的產品戰略架構，底層是各種基礎架構和混合雲平臺產品，包括了OpenShift、企業級Linux、Ansible，再上一層則是Data與AI層，以Watsonx平臺服務，還有多款AI助理服務和安全護欄服務。莊士逸表示，新版戰略架構有一項改變是，在資料與AI層之上，IBM將自動化工具產品獨立成一個平臺層，可用來和AI工具整合。最上面一層則是各項顧問服務與合夥夥伴。

臺灣IBM的客戶工程團隊從2023年至今，完成了數百個GAI客戶PoC案例，已有高科技製造和金融的GAI應用實例，例如有金融業者用GAI來搜尋內部知識文件，或是用來整理語音會議的文字記錄。也有高科技業者用RAG作法來檢核ESG報告的內容，是否符合不同ESG標準的各項要求。

莊士逸表示，臺灣IBM的GAI發展策略，主要分為兩大作法，一是針對有意採用GAI但需求還不明確的企業，IBM將扮演顧問來協助，找來有大型企業客戶經驗的資料科學家，協助這些企業評估和試驗LLM模型的應用。另一項作法則瞄準需求明確的企業，提供設計思考工作坊，也以4～8周時間打造出目標應用場景的PoC驗證，或是最小可行產品（MVP），供企業評估是否正式導入。

他觀察，過去一年，臺灣企業大多處於試驗、尋找使用情境或是驗證RAG作法，接下來會開始往IT自動化、程式碼模型開發、智慧助理等方向發展。不過，目前採落地部署的案例多以LLaMA模型為主，臺灣IBM未來也計畫引薦自家Granite模型給臺灣企業。