【2024 IT十大趨勢 6】AI PC讓裝置執行生成式AI應用成為可能

自ChatGPT從2023年在全球帶動生成式AI風潮，政府及企業關注如何運用生成式AI以提高工作效率、生產力，然而，大型生成式AI需要龐大運算相關資源訓練、推論，主要為雲端服務方式，不只帶來高額成本，政府或企業將資料上傳雲端，也容易產生外洩的風險，因此，生成式AI從雲端落地到企業機房，甚至行動PC，除了降低使用成本，也能為政府機關或企業降低資料外洩的風險。

行動處理器競相提高AI運算能力，加速AI PC願景成形

鑑於生成式AI落地需求，處理器業者開始整合NPU（Neural Processing Unit）或Neural Engine，蘋果在自家Mac電腦使用的M系列晶片，整合Neural Engine神經網路技術，提高對機器學習應用的處理能力，去年10月底最新推出的M3系列晶片，搭載16核心的Neural Engine，相較M1最高提升60%，達到18 TOPS，以加速AI及機器學習的工作流程處理。

x86處理器大廠英特爾也不落人後，在2023年喊出AI PC口號，意欲在PC市場帶動PC的AI應用，去年12月推出Core Ultra行動PC處理器，整合NPU，以專門處理長時間執行的低功耗AI負載，和CPU、GPU在AI任務處理上互補，特別是相當重視續航力的筆電，新的AI引擎NPU能源效率較前一代提升2.5倍。

英特爾執行長Pat Gelsinger高喊個人電腦正式進入AI PC時代。揭露英特爾在PC市場的新戰略，該公司也發布AI PC加速計畫，希望促成2025年超過1億的PC上實現AI應用，為了達成此一目標，英特爾和100多家軟體供應商合作開發PC上的AI應用，例如Adobe、CyberLink、DeepRender、Audacity、BlackMagic等等。

AMD則是在去年12月最新的Ryzen 8040，強調AI處理效能，整合Ryzen AI NPU技術，較前一代提升1.6倍AI處理效能，並提供Ryzen AI軟體，來加速在PC上建構及部署機器學習模式。

微軟也預告Windows將支援新一代行動PC處理器，未來可透過處理器的NPU，加速生成式AI助理Copilot效能，以提升內容生成及問題答覆等用戶體驗。

讓PC具備執行生成式AI小模型應用能力

這波趨勢不只是一般AI PC應用，也涵蓋生成式AI，讓一定參數規模以內的生成式AI應用也能在PC上離線執行。

英特爾展示在Core Ultra筆電上利用生成式AI應用，生成類似美國流行天后Taylor Swift的曲風的歌曲，此外，還展示下一代處理器Lunar Lake，執行Stable Diffusion生成圖像。根據其測試結果，利用NPU執行Stable Diffusion，其處理時間及耗電都要優於不使用NPU的情形，整體效率提高7.8倍。英特爾指出，目前AI PC適合處理參數低於10億的AI小模型推論任務，例如Whisper語音轉文字模型，更大規模的參數，例如10到200億參數，則需要一臺x86伺服器執行，更大的參數規模則需要多CPU或GPU架構的伺服器，甚至由數據中心來處理。

換言之，對企業而言，隨著行動PC的AI推論處理效能增加，參數較少的小型生成式AI應用可由行動PC處理，提高員工工作效率及生產力，而較大型的生成式AI模型可由企業機房處理，確保機敏資料在可控環境處理，至於數百億甚至千億以上參數的超大型LLM模型，則可使用雲端服務。依據AI模型的大小規模、資料安全及成本，在終端裝置、機房、雲端服務執行。

IDC指出，AI PC在PC品牌業者、作業系統、晶片業者競相將AI推論能力從雲端擴展至終端裝置。生成式AI自從2023年引起全球關注，各種規模企業都在研究該技術，使員工如何在其業務中發揮生成式AI應用。未來隨著2025年Windows 10停止支援及 GenAI 應用帶動下，AI PC的成長動能將先在商業市場發酵，2026年底將有80%用於商業用途的新採購個人電腦搭載專為地端執行LLM應用設計的AI晶片，提高工作效率及生產力、減少延遲、確保資料安全，同時降低成本。

更進一步來看，不只是AI PC，智慧型手機也鎖定生成式AI應用，聯發科、高通最新一代行動晶片紛紛主打生成式AI，例如聯發科的天璣9300及8300，以及高通的Snapdragon 8 Gen 3，除了強調AI算力效能之外，還有降低耗電，使智慧型手機能夠處理一定參數內的生成式AI應用。例如Snapdragon 8 Gen 3強調可支援超過100億參數，平均每秒15個Token指令，可執行INT 4精度及Transformer的大型LLM。

 相關報導