【關鍵IT新趨勢8】GAI推論向邊緣端前進，催化場景新一波智慧化發展

隨著大型語言模型快速發展，全球興起生成式AI（GAI）風潮，2024年可以說是企業探索GAI潛力的一年，GAI受到企業重視，根據2024年iThome CIO大調查，約2成2的企業為GAI提高對AI的投資，而有1成調整AI戰略，更聚焦在GAI在內部可能的應用場景。

企業除測試GAI如何應用在內部營運提升營運效率，也逐漸向特定營運或生產場景應用，帶動GAI應用部署從公有雲、企業資料中心，漸漸向邊緣運算、IoT擴散。

研究機構IDC指出，和企業資料中心核心端相比，GAI應用未來更大發展將在邊緣端，在推論需求快速增長的驅動下，預期許多企業2025年將擴大邊緣部署，將帶動邊緣IT基礎設施擴展。

輕量化可在行動、邊緣裝置部署的小模型興起

過去兩年裡，大型語言模型LLM發展相當快速，除了向文字、圖片的多模態發展，也向小語言模型SLM發展，降低語言模型的參數規模，以更適合在運算資源有限的系統部署。

例如Google在2023年釋出可在手機上執行推論的Gemini Nano模型，以推動手機能在離線狀態下使用GAI，Google更進一步看準邊緣端GAI推論的需求，在2024年5月推出採用相同技術的Gemma，目的即鎖定邊緣GAI應用需求，透過全球超過30億臺Android裝置，包括行動裝置、邊緣運算及IoT裝置，擴大GAI應用至更多場景。

Meta也在2024年釋出Llama 3.2 1B與3B模型，讓開發人員得以針對邊緣運算及行動裝置開發具有文字生成及工具的裝置端應用程式，讓資料留在裝置端處理，降低資料上傳到雲端可能的資料外洩風險，也讓裝置端的GAI互動能夠更為即時。

微軟則是釋出最新小語言模型Phi-3，包括mini（3.8B）、small（7B）及medium（14B）三個版本，以用於語言理解、推理、數學等等，強調小模型可用於運算效能有限或離線環境，讓許資源受限的組織將模型部署於低成本裝置，或是在頻寬受限環境下，確保一定的回應速度。

裝置端AI算力提升

除了大型語言模型的輕量化發展，以滿足邊緣運算、IoT及行動裝置執行需求，另一個驅力則是硬體在AI運算的快速發展。

以Arm為例，看好AI在各類裝置的運算需求，其在Arm架構中推出的Ethos系列NPU，在2024年推出效能更佳的第三代Ethos-U85，即鎖定Edge AI運算需求提升NPU效能，該公司也釋出函式庫等工具，以協助開發人員優化AI工作負載在Arm裝置的執行，Arm進一步喊出2025年達到全球1,000億臺採用Arm技術裝置執行AI的目標。

而兩大行動處理器業者，高通及聯發科也分別在其高階行動處理器提升AI處理能力。

高通旗下Snapdragon系列行動處理器整合NPU，並在2024年率先和微軟聯手發表Copilot+PC筆電，主打筆電上執行GAI應用，高通也與Mistral AI合作，將小模型導入用於PC、手機、汽車等Snapdragon平臺，強調在裝置上執行生成式AI的優勢，包括提升隱私、降低延遲、增加可靠性、節省成本及提高能源效率。

聯發科在天璣系列高階行動處理器整合APU提升AI處理能力，以支援手機上的GAI應用，看好未來邊緣端應用發展潛力，與Nvidia合作將支援上百種預訓練模型及工具的Nvidia TAO工具套件整合到聯發科的軟體開發套件，進一步強化邊緣AI的推論晶片開發，目的在協助開發人員開發包括GAI在內的邊緣AI裝置，用於零售、製造、醫療、智慧城市、交通等場域。

此外，英特爾、AMD也紛紛鎖定AI PC推出新款行動或桌上型處理器，通過整合NPU提高在裝置端的AI算力，未來不只用於PC，可望被用於工控電腦、伺服器，將使得AI算力擴大到更多的垂直應用場域。IDC預期2025年支援GAI的手機占有率將佔整體智慧型手機市場約的5成，而AI筆電則會占整體市場約4成1。

邊緣端用GAI就地動態產生建議或方案

傳統的AI被訓練來處理特定任務，如人臉辨識、語音識識、預測分析等等，目前在邊緣運算已採用AI，以製造業為例，蒐集產線上的數據，利用AI偵測異常、設備故障預測、瑕疵等等。

GAI優勢在於生成內容，包括文字、圖像、音樂、程式碼等，但是GAI如果集中在企業核心端的資料中心處理，需要建立大量的AI運算資源，GAI推論從核心走向邊緣端，一方面滿足低延遲、即時回應的需求，也能減輕核心端的算力資源需求，並達到節能的目的。

另外，將資料上傳到核心端，可能增加資料外洩的風險，在高科技製造業，工廠內的數據具有相當高的機密性，在邊緣運算部署GAI推論就近處理資料，也能降低資安風險。

相較於大語言模型可處理複雜的工作任務，需要較大的AI算力資源，，輕量化設計的小模型，可用於執行較簡單的任務，適用於成本較低、運算資源有限的行動或邊緣裝置，模型經過微調可滿足特定場域的用途。

GAI在邊緣端的應用，例如智慧客服即時對話生成，在製造現場管理單位可根據現況動態調整，輸入資料動態生成操作指引，或是輸入多種產線資料，提出生產調度建議，或根據文字及圖像資料生成新的設計。

Meta先前釋出Llama 3.2的輕量化模型，曾展示一款AI Glass眼鏡，將GAI整合到AR眼鏡，使用者可以語音和GAI助手對話，未來這項應用也可能用於智慧工廠，維修人員配載AI眼鏡後，現場設備出現異常或維修時，可利用語音在廠內查詢相關的維修紀錄或由AI提供維修建議，或是語音呼叫AI助手與遠方的專家通話獲得進一步的協助。

不只是製造業，其他產業在邊緣的GAI應用，例如在智慧零售與顧客互動，提出個人化的行銷內容或推薦商品，在健康醫療業可產生即時的健康報告及建議。

企業在邊緣端部署GAI應用，需要考量到不同運算裝置的算力、記憶體資源是否足夠，還需要考慮到不同的模型壓縮、生成內容的安全及準確性。IDC認為LLM的輕量化發展，SLM小語言模型將讓企業可建立彈性、敏捷部署的AI應用。

但是，企業在邊緣端部署GAI應用，未來需要考慮到公有雲、企業資料中心、邊緣端如何協作混合運算策略，例如在雲端或核心端、邊緣端執行不同模型的策略。