Arm發表首款鎖定邊緣AI的Armv9架構運算平臺

看準邊緣端的AI運算需求，Arm發表首款Armv9架構邊緣AI運算平臺，整合CPU與NPU功能，強調可支援超過10億參數的邊緣端AI模型，預期將進一步帶動AI應用從雲端及資料中心向邊緣運算發展。

Arm指出，現今AI發展不再只限於雲端，隨著物聯網的智慧化發展提升，從智慧城市到工業自動化，在邊緣端處理AI工作負載將帶來優勢，也有其必要性，首款Armv9邊緣AI運算平臺，代表此一發展進入重要的里程碑。

隨著物聯網發展愈來愈普及，也帶動運算需求的增加，Arm以自駕車為例，在工廠的環境下自駕車如何精準導航，或是利用AI建立更自然的人機互動體驗。Arm指出，AI向邊緣端發展，更接近資料源，可降低延遲，並且提升隱私保護。

這款專門定位在邊緣AI運算需求設計的Armv9架構運算平臺，內部整合號稱全新的Cortex-A320 CPU，以及Ethos-U85 NPU，其中的Ethos-U85 NPU支援Transformer運算子網路，使得這款定位在邊緣AI運算需求的Armv9運算平臺，要比去年推出基於Cortex-M85的邊緣AI運算平臺，機器學習效能高出8倍。

如果單看CPU，Arm指出，Cortex-A320能夠提高物聯網的效能、效率及安全性，支援Armv9架構的AI功能及軟體支援，比前一代的Cortex-A35，在機器學習方面的效能提升10倍，純量效能則提高3成。

至於隨著物聯網普及，而受到重視的物聯網裝置安全性方面，新平臺則將Armv9.2架構的安全功能帶到小型化的Cortex-A裝置，例如PAC指標驗證、MTE記憶體標籤擴充等等。

Arm稱新平臺將Armv9架構技術，從雲端擴大到邊緣端，涵蓋不同類型的裝置，包括從強調高效能設計的裝置，到有限電源下需要延長使用時間的高能效裝置。

另外，針對邊緣端的AI應用開發，Arm也將針對AI框架的開發工具Arm Kleidi，專門優化Arm CPU的AI及ML負載，Arm以物聯網AI框架Llama.cpp執行微軟Tiny Stories資料集為例，Kleidi為Cortex-A320提升7成的效能。